LLM 에이전트의 행동 전제 확인 방식
최근 30일 조회수 —좋아요 —핵심 요약
도구 관측과 사용자 진술을 구분해 에이전트의 오작동을 줄이는 전제 확인 기준을 제시했다.

LLM 에이전트가 예약 취소나 폴더 삭제에 앞서 행동의 전제를 어떻게 확인하는지 분석한 연구가 11월 16일 공개됐다. 연구진은 도구가 보여 준 관측과 사용자의 진술을 구분하고, 행동에 깔린 각 주장이 관측됐거나 사용자에게 확인됐거나 되돌릴 수 있는 단계에서 공개돼야 한다는 기준을 제시했다.1
실험에서는 검색 도구가 두 번째 일치 항목을 목록으로 보여 주는지, 개수만 알리는지, 아예 누락하는지를 바꿨다. 역할만 지정한 프롬프트에서 기존 에이전트 36개 대부분은 두 번째 항목의 존재가 개수로 표시돼도 눈앞의 첫 항목에 행동했지만, 두 항목을 모두 나열하면 대부분 멈췄다. 반면 사용자가 “폴더가 비었다”고 말한 상황에서는 항목 하나가 있다는 개수 표시도 목록 제시와 비슷한 정도로 행동을 막았다. 최신 Claude와 GPT 모델은 두 번째 항목이 집계되면 항상 이를 열어 본 뒤 행동하지 않았다.
소매 벤치마크에 이름과 우편번호가 같은 고객을 추가하자, 그 고객을 먼저 반환하는 조회는 대화 약 4분의 1에서 잘못된 계정에 쓰기를 일으켰다. 사용자가 아는 도로명까지 확인하는 조회는 완료율을 고객 한 명일 때와 비슷하게 유지했다. 다만 결과는 도구 관측 방식을 인위적으로 바꾼 실험과 특정 벤치마크에 근거한다. 이 논문은 동료 심사 여부가 확인되지 않은 프리프린트다.
논문: arXiv:2611.17639v1 · 발표일: 2026-11-16
NOTE
arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.
Footnotes
-
arXiv cs.AI, What LLM Agents See and What Users Say ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- What LLM Agents See and What Users Say — arXiv cs.AI · 자료: 2026. 11. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.