코딩 에이전트, 재시작보다 계속 실행이 효율적
최근 30일 조회수 —좋아요 —핵심 요약
초기 실패 예측은 시도별 성공을 가리지 못해 대부분 조건에서 재시작보다 계속 실행하는 편이 효과적이었다.
코딩 에이전트의 실패를 초기에 가려 재시작하는 전략은 개별 시도의 성공 가능성을 거의 판별하지 못하며, 대부분 조건에서 그대로 실행을 이어가는 편이 성공률과 토큰 비용 모두에서 나았다는 분석이 나왔다. 10월 28일 공개된 arXiv 프리프린트 2610.35971v1은 공개 말뭉치 2종의 실행 기록 14만7,002개와 모델·프레임워크 조합 4가지를 조사했다.1
연구진은 실행 전 문제 정보와 실행 초기 5천2만 토큰을 바탕으로 선형 모델, 첫 턴 텍스트 임베딩, 문제별 순위 모델, 미세조정한 Qwen3-0.6B 감시 모델을 비교했다. 초기 실행 기록은 서로 다른 문제의 결과 순위를 다소 개선했지만, 같은 문제에서 어느 시도를 중단할지 구분하는 성능은 무작위에 가까웠다. 2만 토큰 시점의 3개 시드 신경망 평가에서도 3만2,406개 시도에 걸친 문제 내 평균 AUC는 0.50, 구간은 0.480.51이었다.
75K 토큰 한도에서 학습 기반 재시작은 무작위 재시작보다 해결률을 최대 1.98%포인트 높였다. 그러나 개선분은 거의 전부 쉬운 문제의 실행을 중단하지 않는 ‘문제 간 배분’에서 나왔고, 같은 문제 안에서 더 나은 시도를 고른 효과는 -0.11~+0.24%포인트에 그쳤다. 4개 설정 모두와 전체 224개 예산·임계값 조합 중 216개에서 중단 없이 계속 실행하는 방식이 두 재시작 정책보다 더 적은 평균 토큰으로 더 높은 해결률을 기록했다. 이 결과는 arXiv 프리프린트에 근거한다.
Footnotes
-
arXiv cs.SE, 「Continue or Restart? The Limits of Early Failure Prediction in Coding Agents」, 2026-10-28. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Continue or Restart? The Limits of Early Failure Prediction in Coding Agents — arXiv cs.SE · 자료: 2026. 10. 28.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.