코딩 에이전트 환각 호출 탐지기 공개

최근 30일 조회수 —좋아요 —

핵심 요약

StateMirror는 실행 전 잘못된 도구 호출을 탐지해 해결 수준을 유지하며 시간과 토큰 소비를 줄였다.

코딩 에이전트 환각 호출 탐지기 공개 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM) 기반 코딩 에이전트가 존재하지 않는 경로나 설치되지 않은 패키지를 호출하는 문제를 실행 전에 잡는 탐지기 StateMirror가 공개됐다. 2026년 10월 26일 발표된 arXiv:2610.32648v1은 arXiv v1 논문이다.1

연구진은 4,398개 에이전트 실행 궤적을 예비 분석해 이런 ‘환각 도구 사용’에서 복구하는 데 중앙값 기준 상호작용 3단계와 2만2,400토큰이 더 필요했다고 보고했다. 기존 방식이 실행 후 오류에 대응한다면, StateMirror는 실행 연결부에서 동작을 가로채 구문 트리(AST)와 명령을 분석하고 필요한 상태 조건을 추출한 뒤 실제 저장소와 대조한다.

2,508개 동작을 평가한 결과 정밀도는 0.940, F1 점수는 0.817이었다. 가장 강한 LLM 판별기보다 F1이 35.3% 높았고, 탐지 지연시간 중앙값은 17.73초에서 1.50밀리초로 줄었으며 토큰은 쓰지 않았다. 사전 피드백을 받은 에이전트는 실행 불가능한 호출의 95% 이상을 바로잡았다. 79개 과제의 실시간 완화 실험에서는 과제 해결 수준을 유지하면서 실행시간과 토큰 소비가 각각 15.8%, 11.8% 감소했다. 다만 이는 저자가 보고한 프리프린트 결과다.

Footnotes

  1. arXiv cs.SE, 「StateMirror: Pre-Execution Detection of Hallucinated Tool Calls in Coding Agents」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. StateMirror: Pre-Execution Detection of Hallucinated Tool Calls in Coding Agents — arXiv cs.SE · 자료: 2026. 10. 26.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.