LLM 추론 토큰 증가, 코딩 정확도 보장 못해

최근 30일 조회수 —좋아요 —

핵심 요약

파이썬 과제 866개를 분석한 결과, LLM의 추론 비용 증가가 코딩 정확도 향상으로 이어지지는 않았다.

LLM 추론 토큰 증가, 코딩 정확도 보장 못해 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

대규모언어모델(LLM)이 코드를 만들거나 버그를 고칠 때 추론 토큰을 더 써도 정확도가 반드시 높아지지는 않는다는 연구가 나왔다. 2026년 10월 28일 공개된 arXiv 프리프린트(arXiv:2610.36952v1)는 파이썬 과제 866개와 5개 모델 설정을 분석해 추론 비용과 정답률의 관계를 살폈다.1

Qwen3-32B에서 추론을 켜자 5회 실행 기준 HumanEval Pro 평균 pass@1은 71.1%에서 76.5%로, BugsInPy의 평균 통과 테스트 비율은 3.5%에서 7.9%로 올랐다. 반면 MBPP Pro는 과제당 추론 토큰 중앙값이 2,000개를 넘었지만 68.1%에서 69.5%로 오른 차이가 통계적으로 유의하지 않았다. 모델 전반에서도 추론 기록이 길수록 정확도가 높아지는 일관된 관계는 없었다.

연구진은 저장된 추론 기록을 줄인 뒤 Qwen3-32B가 남은 내용만으로 답을 만들게 했다. 앞부분 절반만 남겨도 정확성은 통계적으로 유의하게 떨어지지 않았다. 반복이 시작될 때나 해답 코드가 처음 등장할 때 멈추는 규칙도 단순히 일정 길이에서 자르는 방식보다 낫지 않았다. 다만 이는 초록에 보고된 프리프린트 결과다.

Footnotes

  1. arXiv cs.SE, “Does More Thinking Pay Off? Reasoning Cost and Correctness of LLMs in Code Generation and Bug Fixing” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Does More Thinking Pay Off? Reasoning Cost and Correctness of LLMs in Code Generation and Bug Fixing — arXiv cs.SE · 자료: 2026. 10. 28.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.