4비트 소형 LLM별 환각 탐지 순위 역전

최근 30일 조회수 —좋아요 —

핵심 요약

온디바이스 소형 LLM 감사에서 모델별 환각 탐지기 순위 역전과 평가 라벨러의 한계가 확인됐다.

온디바이스용 4비트 소형 언어모델에서는 환각 탐지기의 성능 순위가 모델에 따라 뒤집힐 수 있다는 감사 결과가 나왔다. 11월 16일 공개된 프리프린트 arXiv:2611.17339v1은 Llama-3.2-3B-Instruct와 Qwen2.5-3B-Instruct에서 탐지기 순위의 상관계수가 스피어만 ρ -0.80, 켄달 τ-b -0.667이었다고 보고했다.1

연구진은 두 모델을 4비트 NF4로 양자화해 콜랩 T4 GPU 한 대에서 구동하고, 폐쇄형 TriviaQA로 네 탐지기를 비교했다. 대상은 길이 정규화 토큰 마진, 어휘 n-그램 기준선, 의미 엔트로피, SelfCheckGPT-NLI다. 부트스트랩 95% 신뢰구간에서 값싼 어휘 기준선은 두 모델 모두 표본 추출 기반 탐지기와 통계적으로 구별되지 않았다.

평가 라벨 자체의 문제도 드러났다. TruthfulQA-Generation의 표준 토큰 중복 기반 객관식 정답 판별기를 쓰면 네 탐지기의 AUROC가 0.460.59에 그쳤지만, 같은 파이프라인의 TriviaQA에서는 0.690.89였다. 저자들은 이를 탐지기보다 라벨러의 실패로 해석했다. 다만 실험은 소형 모델 두 종과 TriviaQA 중심이며, 프리프린트다.

Footnotes

  1. arXiv cs.AI, “Does the Ranking Hold? A Practitioner-Facing Audit of Hallucination Detectors on Small, Quantized, On-Device LLMs”, 2026-11-16. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Does the Ranking Hold? A Practitioner-Facing Audit of Hallucination Detectors on Small, Quantized, On-Device LLMs — arXiv cs.AI · 자료: 2026. 11. 16.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.