4비트 소형 LLM별 환각 탐지 순위 역전
최근 30일 조회수 —좋아요 —핵심 요약
온디바이스 소형 LLM 감사에서 모델별 환각 탐지기 순위 역전과 평가 라벨러의 한계가 확인됐다.
온디바이스용 4비트 소형 언어모델에서는 환각 탐지기의 성능 순위가 모델에 따라 뒤집힐 수 있다는 감사 결과가 나왔다. 11월 16일 공개된 프리프린트 arXiv:2611.17339v1은 Llama-3.2-3B-Instruct와 Qwen2.5-3B-Instruct에서 탐지기 순위의 상관계수가 스피어만 ρ -0.80, 켄달 τ-b -0.667이었다고 보고했다.1
연구진은 두 모델을 4비트 NF4로 양자화해 콜랩 T4 GPU 한 대에서 구동하고, 폐쇄형 TriviaQA로 네 탐지기를 비교했다. 대상은 길이 정규화 토큰 마진, 어휘 n-그램 기준선, 의미 엔트로피, SelfCheckGPT-NLI다. 부트스트랩 95% 신뢰구간에서 값싼 어휘 기준선은 두 모델 모두 표본 추출 기반 탐지기와 통계적으로 구별되지 않았다.
평가 라벨 자체의 문제도 드러났다. TruthfulQA-Generation의 표준 토큰 중복 기반 객관식 정답 판별기를 쓰면 네 탐지기의 AUROC가 0.460.59에 그쳤지만, 같은 파이프라인의 TriviaQA에서는 0.690.89였다. 저자들은 이를 탐지기보다 라벨러의 실패로 해석했다. 다만 실험은 소형 모델 두 종과 TriviaQA 중심이며, 프리프린트다.
Footnotes
-
arXiv cs.AI, “Does the Ranking Hold? A Practitioner-Facing Audit of Hallucination Detectors on Small, Quantized, On-Device LLMs”, 2026-11-16. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Does the Ranking Hold? A Practitioner-Facing Audit of Hallucination Detectors on Small, Quantized, On-Device LLMs — arXiv cs.AI · 자료: 2026. 11. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.