코딩 에이전트 선제 해결률 6~25%
최근 30일 조회수 —좋아요 —핵심 요약
Foresight-SWE 평가에서 11개 모델이 후속 결함까지 피한 비율은 6.13~24.53%에 그쳤다.
코딩 에이전트가 요구사항에 적히지 않은 잠재 결함까지 미리 막는 능력이 낮다는 평가 결과가 나왔다. 11개 대규모 언어 모델을 새 벤치마크 Foresight-SWE로 시험한 결과, 기존 과제를 완수하면서 후속 결함까지 피한 비율인 ‘선제 해결률’(FRR)은 6.13~24.53%에 그쳤다.1
Foresight-SWE는 4개 프로그래밍 언어와 인기 오픈소스 저장소 35곳에서 수집한 212개 사례로 구성됐다. 각 사례에는 두 개의 풀 리퀘스트(PR)가 들어 있다. 첫 번째 PR이 결함을 만들고, 두 번째 PR이 이를 수정하는 구조다. 연구진은 에이전트가 첫 과제를 완전히 해결하는 동시에 나중 PR에서 확인된 결함을 만들지 않았는지 측정했다. 기존 벤치마크가 명시된 요구사항 충족에 집중해 코드 변경의 미래 영향을 충분히 평가하지 못한다는 문제를 겨냥한 것이다.
다만 이 결과는 해당 212개 사례와 11개 모델을 대상으로 한 평가다. 논문은 모델 훈련·정렬 방식과 코드 리뷰 도구를 더 안전하게 개선할 필요성을 제기하지만, 구체적인 개선 효과는 보고하지 않았다. arXiv:2611.01181v1은 2026년 11월 3일 공개된 프리프린트다.
Footnotes
-
arXiv cs.SE, 「Do Coding Agents Catch Their Own Bugs? (They Don’t.)」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Do Coding Agents Catch Their Own Bugs? (They Don't.) — arXiv cs.SE · 자료: 2026. 11. 3.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.