토큰 한도 고지, 코딩 에이전트 성능 개선 못해
최근 30일 조회수 —좋아요 —핵심 요약
위약 대조 실험에서 토큰 한도 고지는 코딩 에이전트의 문제 해결률을 유의미하게 높이지 못했다.
조직이 코딩 에이전트에 토큰 한도를 알려줘도 문제 해결률은 개선되지 않았다는 위약 대조 실험 결과가 나왔다. 11월 18일 공개된 arXiv 프리프린트 2611.21614는 예산 집행과 고지의 효과를 분리해 측정했다.1
연구진은 실행 가능한 프로그램 수리 벤치마크 2종에서 오픈 모델 2개와 한도 3단계를 조합해 5,835회 실험했다. 보정된 토큰 한도를 강제하자 해결률은 20.0%포인트 낮아졌지만, 해결된 작업당 토큰은 약 12분의 1로 줄었다. 반면 한도를 알려준 효과는 중간 한도에서 -2.8%포인트(95% 신뢰구간 -6.2~+0.7), 엄격한 한도에서 -4.2%포인트(-8.1~-0.2)였다. 후자는 보정 전 기준에서만 명목상 유의했다.
문구와 턴별 피드백을 바꿔도 연구진이 중요하다고 정한 10%포인트 효과에는 크게 못 미쳤다. 관련 없는 문장만 추가한 위약 조건은 침묵 집행보다 해결률이 7.2%포인트 높아, 단순 문장 효과를 통제하지 않으면 예산 고지 효과로 오인할 수 있음을 보여준다. 다만 이 논문은 arXiv 프리프린트다.
Footnotes
-
arXiv cs.SE, “Does Your Agent Need to Know Its Budget? A Placebo-Controlled Experiment on LLM Coding Agents”, 2026-11-18. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Does Your Agent Need to Know Its Budget? A Placebo-Controlled Experiment on LLM Coding Agents — arXiv cs.SE · 자료: 2026. 11. 18.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.