코딩 에이전트 테스트 결함 탐지력 60% 미만

최근 30일 조회수 —좋아요 —

핵심 요약

TestSuiteBench에서 최신 코딩 에이전트는 테스트 통과율은 높았지만 변이 점수 60%를 넘지 못했다.

코딩 에이전트 테스트 결함 탐지력 60% 미만 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

TestSuiteBench 연구진이 복잡한 소프트웨어의 명세만 보고 전체 테스트 묶음을 만드는 코딩 에이전트의 능력을 평가한 결과, 최신 에이전트도 변이 점수 60%를 넘지 못했다. 테스트의 88%는 기준 구현에서 정상 통과했지만, 결함을 찾아내는 힘은 충분하지 않았다는 뜻이다.1

TestSuiteBench는 오픈소스 애플리케이션 165개와 상세 행동 명세, 기준 구현, 기준 테스트 묶음으로 구성됐다. 애플리케이션마다 평균 74개의 변이 프로그램을 만들었으며, 각 변이는 명세의 요구사항 하나를 겨냥하도록 다듬었다. 변이의 73%는 기준 테스트 하나에만 탐지됐고, 나머지 테스트 중 해당 변이를 잡은 비율은 평균 0.2%였다. 저자들은 생성된 테스트가 기준 테스트보다 적고, 필요한 입력 조합도 자주 빠졌다고 보고했다.

반면 같은 명세로 에이전트가 작성한 구현은 기준 테스트의 82%를 통과했다. 저자들은 이를 에이전트가 직접 만든 소프트웨어를 충분히 검증하지 못하는 격차로 해석하며, 완전 자율 소프트웨어 개발을 제한하는 요인이라고 지적했다.

이 논문은 2026년 10월 12일 공개된 arXiv:2610.13065v1 프리프린트다.

Footnotes

  1. arXiv cs.SE, 「TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. TestSuiteBench: Coding Agents Struggle to Generate Strong Test Suites from Specifications — arXiv cs.SE · 자료: 2026. 10. 12.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.