코드 리뷰 에이전트, 버그 71.9% 탐지
최근 30일 조회수 —좋아요 —핵심 요약
CRBugBench 평가에서 최신 리뷰 에이전트는 성능이 향상됐지만 복잡한 변경과 기업 저장소에서는 한계를 보였다.

코드 생성 에이전트가 사람보다 빠르게 코드를 내놓는 상황에서, 자동 리뷰만으로 ‘무인 소프트웨어 공장’을 운영하기에는 아직 한계가 있다는 연구가 나왔다. 연구진은 사람이 확인한 버그를 리뷰 에이전트가 찾아내는지 평가하는 CRBugBench를 만들었다. 이 벤치마크는 오픈소스 깃허브 저장소 98곳의 리뷰 과제 1,000개와 한 대기업의 비공개 저장소에서 가져온 과제 800개로 구성됐다.1
최고 성능 조합인 claude-opus-5와 copilot-cli는 상위 5개 리뷰 의견 안에서 버그의 71.9%를 잡았다. 5개월 전 opus-4.6의 47.7%보다 높다. 연산량을 늘릴 때는 단순 확장보다 탐색을 유도하는 프롬프트 변경이 효과적이었으며, 비용을 10% 더 쓰고 성능을 최대 5.8% 높였다고 저자들은 보고했다.
다만 복잡한 변경이나 여러 파일·맥락을 함께 살펴야 하는 버그에서는 성능이 떨어졌다. 프로젝트 지식이 더 자주 필요한 기업 저장소에서는 하락 폭이 특히 컸다. 연구진은 PR 복잡도에 따라 리뷰 노력을 조절하고, 저장소 지식과 프로젝트 우선순위를 에이전트에 제공하며, PR 특성에 맞춰 모델을 배정해야 한다고 제안했다.
이 논문은 2026년 10월 12일 공개된 arXiv 프리프린트(arXiv:2610.13668v1)다. 논문 보기
Footnotes
-
arXiv cs.SE, “(When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- (When) Should a Software Factory be Lights-off? Benchmarking Code Review Agents on Bug Detection — arXiv cs.SE · 자료: 2026. 10. 12.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.