코딩 에이전트 프로젝트 인수 완수율 4.95%

최근 30일 조회수 —좋아요 —

핵심 요약

37개 과제 평가에서 코딩 에이전트는 요구사항 복원과 구현에 모두 어려움을 보였다.

코딩 에이전트 프로젝트 인수 완수율 4.95% — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

코딩 에이전트가 장기 프로젝트를 인수해 과거 대화에서 유효한 요구사항을 복원하고 새 요청까지 반영하는 능력이 매우 낮다는 평가 결과가 나왔다. 11월 6일 공개된 프리프린트 arXiv:2611.07307v1은 실행 검증이 가능한 37개 과제를 6가지 모델·하니스 조합으로 시험한 결과, 전체 대화 이력을 제공해도 완전 납품률이 평균 4.95%에 그쳤다고 보고했다.1

연구진은 기존 코딩 벤치마크가 긴 상호작용 이력이나 요구사항 복원부터 프로젝트 납품까지의 전 과정을 충분히 다루지 못한다고 봤다. 이에 에이전트에 대화 이력, 현재 요청, 요청 직전의 프로젝트 환경을 주고 변경 작업을 맡긴 뒤 납품 테스트로 성능을 평가했다. 또한 요구사항을 원자 단위로 나눠 관련 정보 식별, 기존 상태 복원, 새 요청 처리 과정을 각각 진단하는 ReqMemBench를 제안했다.1

진단 결과 6개 조합 모두 변경 후 요구사항 상태를 완전히 정확하게 만들지 못했으며, 복원했던 기존 제약을 갱신 과정에서 빠뜨린 사례도 확인됐다. 정답 목표 상태를 직접 제공했을 때 빌드와 회귀 테스트 통과율은 각각 96.40%, 90.99%였지만 목표 테스트 성공률은 9.01%, 완전 납품률은 평균 8.11%에 머물렀다. 이는 요구사항 정리뿐 아니라 이미 정해진 목표를 기존 프로젝트에 구현하는 단계에도 어려움이 있음을 보여준다.1

NOTE

이 논문은 arXiv에 게재된 프리프린트다.

Footnotes

  1. arXiv cs.SE, 「Take It From Here: Evaluating Coding Agents On Project Takeover」, arXiv:2611.07307v1, 2026-11-06. ↩ ↩2 ↩3

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Take It From Here: Evaluating Coding Agents On Project Takeover — arXiv cs.SE · 자료: 2026. 11. 6.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.