코딩 에이전트 테스트 결함 탐지력 60% 미만
최근 30일 조회수 —좋아요 —핵심 요약
TestSuiteBench에서 최신 코딩 에이전트는 테스트 통과율은 높았지만 변이 점수 60%를 넘지 못했다.

TestSuiteBench 연구진이 복잡한 소프트웨어의 명세만 보고 전체 테스트 묶음을 만드는 코딩 에이전트의 능력을 평가한 결과, 최신 에이전트도 변이 점수 60%를 넘지 못했다. 테스트의 88%는 기준 구현에서 정상 통과했지만, 결함을 찾아내는 힘은 충분하지 않았다는 뜻이다.1
TestSuiteBench는 오픈소스 애플리케이션 165개와 상세 행동 명세, 기준 구현, 기준 테스트 묶음으로 구성됐다. 애플리케이션마다 평균 74개의 변이 프로그램을 만들었으며, 각 변이는 명세의 요구사항 하나를 겨냥하도록 다듬었다. 변이의 73%는 기준 테스트 하나에만 탐지됐고, 나머지 테스트 중 해당 변이를 잡은 비율은 평균 0.2%였다. 저자들은 생성된 테스트가 기준 테스트보다 적고, 필요한 입력 조합도 자주 빠졌다고 보고했다.
반면 같은 명세로 에이전트가 작성한 구현은 기준 테스트의 82%를 통과했다. 저자들은 이를 에이전트가 직접 만든 소프트웨어를 충분히 검증하지 못하는 격차로 해석하며, 완전 자율 소프트웨어 개발을 제한하는 요인이라고 지적했다.
이 논문은 2026년 10월 12일 공개된 arXiv:2610.13065v1 프리프린트다.
Footnotes
-
arXiv cs.SE, 「TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications — arXiv cs.SE · 자료: 2026. 10. 12.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.