AI, 에이전트 지침 결함 탐지율 3.9% 이하
최근 30일 조회수 —좋아요 —핵심 요약
AI는 에이전트 지침 파일에서 사람이 찾은 문제의 1.3~3.9%만 탐지해 인간 검토를 대체하지 못했다.
소프트웨어 AI 에이전트의 행동을 정하는 지침 파일을 검토할 때, AI는 사람이 찾아낸 문제의 1.3~3.9%만 탐지했다. 11월 17일 공개된 프리프린트 arXiv:2611.18582v1은 AI 검토자가 형식·구조상의 문제는 포착하지만 사실 오류, 지침의 필요성, 내용 노후화처럼 사람의 판단이 필요한 결함은 대부분 놓쳤다고 보고했다.1
연구진은 AGENTS.md, CLAUDE.md, .cursorrules, SKILL.md 등 에이전트 지침 파일과 관련된 풀 리퀘스트 2,870건을 2,246개 저장소에서 분석했다. 이 파일은 자연어로 작성되지만 저장소 전체에서 에이전트 행동을 바꿀 수 있으며, 컴파일러나 형 검사, 테스트로 변경의 적절성을 판정하기 어렵다. 그런데 분석 대상 변경의 70% 이상은 실질적인 검토를 받지 않았다.
연구진은 검토 쟁점을 16개 범주로 분류하고, 468개 풀 리퀘스트에서 사람이 확인한 쟁점 1,962건으로 벤치마크를 만들었다. 검토 시점의 전체 저장소를 제공한 뒤 Codex, OpenCode, Claude Code를 시험했지만 회수율은 1.3~3.9%에 그쳤다. 저자들은 현재 AI 에이전트가 지침 파일 검토에서 사람의 주의를 대신할 수 없다고 결론 내렸다.
Footnotes
-
arXiv cs.SE, 「AI Cannot Review What Humans Catch: A First Look at the Reviews of Agent Instruction Files」, 2026-11-17. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- AI Cannot Review What Humans Catch: A First Look at the Reviews of Agent Instruction Files — arXiv cs.SE · 자료: 2026. 11. 17.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.