증거 관문, LLM 검토의 오판 번복 줄여
최근 30일 조회수 —좋아요 —핵심 요약
검증 가능한 규칙 위반 증거가 있을 때만 번복을 허용하자 올바른 결정 훼손은 줄고 수정 효과는 유지됐다.

대규모 언어모델(LLM) 검토자가 앞선 에이전트의 결정을 언제 뒤집을 수 있는지를 증거로 제한하면, 올바른 결정을 훼손하는 사례를 크게 줄이면서 규칙 위반에 대한 수정은 대부분 유지할 수 있다는 연구가 나왔다. 11월 5일 공개된 arXiv 프리프린트 2611.05390은 검토자가 구속력 있는 제약 위반과 적합한 수정안을 기계적으로 검증 가능한 기록으로 제시할 때만 결정을 교체하도록 하는 ‘증거 관문’을 제안했다.1
연구진은 로컬에서 구동한 오픈 웨이트 모델 2종과 공간 정책 과제 96개, 포트폴리오 이전 벤치마크 96개를 대상으로 폭넓은 번복 권한과 증거 관문을 비교했다. 저자들에 따르면 증거 관문은 올바른 제안의 훼손을 크게 줄였고, 위반 사항을 바로잡는 수정은 대부분 보존했다. 다만 효과의 크기는 검토자의 판단 변화와 최초 제안 상태에 따라 달랐다.
검토자가 유지·교체·상향 검토 중 하나를 직접 고르게 한 추가 검증에서는 모델 차이가 드러났다. Qwen은 올바른 제안 훼손을 없앴지만, Mistral은 올바른 제안 48개를 모두 교체했다. Qwen은 Mistral이 자주 시도한 복지 개선 목적의 수정도 전부 거부했다. 연구진은 제한적 검토가 언제나 낫다는 결론이 아니라, 검토 역량과 선택 인터페이스, 구속력 있는 권한 범위가 수정 가능 영역과 훼손 위험을 함께 결정한다고 설명했다.
NOTE
이 논문은 arXiv 프리프린트다.
Footnotes
-
arXiv cs.AI, “Who May Overrule the Agent? Evidence-Gated Authority in LLM Review Institutions”, 2026-11-05. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Who May Overrule the Agent? Evidence-Gated Authority in LLM Review Institutions — arXiv cs.AI · 자료: 2026. 11. 5.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.