LLM 에이전트의 행동 전제 확인 방식

최근 30일 조회수 —좋아요 —

핵심 요약

도구 관측과 사용자 진술을 구분해 에이전트의 오작동을 줄이는 전제 확인 기준을 제시했다.

LLM 에이전트의 행동 전제 확인 방식 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

LLM 에이전트가 예약 취소나 폴더 삭제에 앞서 행동의 전제를 어떻게 확인하는지 분석한 연구가 11월 16일 공개됐다. 연구진은 도구가 보여 준 관측과 사용자의 진술을 구분하고, 행동에 깔린 각 주장이 관측됐거나 사용자에게 확인됐거나 되돌릴 수 있는 단계에서 공개돼야 한다는 기준을 제시했다.1

실험에서는 검색 도구가 두 번째 일치 항목을 목록으로 보여 주는지, 개수만 알리는지, 아예 누락하는지를 바꿨다. 역할만 지정한 프롬프트에서 기존 에이전트 36개 대부분은 두 번째 항목의 존재가 개수로 표시돼도 눈앞의 첫 항목에 행동했지만, 두 항목을 모두 나열하면 대부분 멈췄다. 반면 사용자가 “폴더가 비었다”고 말한 상황에서는 항목 하나가 있다는 개수 표시도 목록 제시와 비슷한 정도로 행동을 막았다. 최신 Claude와 GPT 모델은 두 번째 항목이 집계되면 항상 이를 열어 본 뒤 행동하지 않았다.

소매 벤치마크에 이름과 우편번호가 같은 고객을 추가하자, 그 고객을 먼저 반환하는 조회는 대화 약 4분의 1에서 잘못된 계정에 쓰기를 일으켰다. 사용자가 아는 도로명까지 확인하는 조회는 완료율을 고객 한 명일 때와 비슷하게 유지했다. 다만 결과는 도구 관측 방식을 인위적으로 바꾼 실험과 특정 벤치마크에 근거한다. 이 논문은 동료 심사 여부가 확인되지 않은 프리프린트다.

논문: arXiv:2611.17639v1 · 발표일: 2026-11-16

NOTE

arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.

Footnotes

  1. arXiv cs.AI, What LLM Agents See and What Users Say ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. What LLM Agents See and What Users Say — arXiv cs.AI · 자료: 2026. 11. 16.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.