장문 생성 성능 저하, 샘플링이 원인
최근 30일 조회수 —좋아요 —핵심 요약
고온 설정에서 후보 토큰을 제한한 top-nsigma가 오픈 모델의 장문 생성 성능을 유지했다.

오픈 가중치 언어모델의 장문 생성 성능 저하는 추가 학습보다 샘플링 방식에서 비롯될 수 있다는 분석이 나왔다. 11월 18일 공개된 arXiv 프리프린트 「Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)」(arXiv:2611.22148v1)는 온도를 높일 때 낮은 확률의 토큰까지 후보에 넣는 샘플러가 성능 저하를 일으킨다고 보고했다.1
연구진은 10개 기존 벤치마크와 최대 100만 토큰의 니들 검색에서 10억1,220억 매개변수 규모의 오픈 가중치 모델 29개를 시험했다. 온도 2에서 62개를 해결했다. 전체 벤치마크에서 top-p, top-k, Top-H를 적용한 코딩 에이전트는 GitHub 문제 100개 중 하나도 해결하지 못했지만, top-nsigma는 Qwen3.5 모델 3종에서 46top-nsigma는 온도 1 대비 점수의 중앙값 100%를 유지한 반면 top-p는 26%에 그쳤다.
저자들은 온도가 오를수록 후보 토큰 풀이 커지는 현상을 원인으로 제시했다. 한 Llama-3.1-8B 이야기 생성 사례에서 top-p 후보는 4개에서 51,845개로 늘었지만 top-nsigma는 3개를 유지했다. 133개 설정에서 후보 수와 평가 품질의 스피어만 상관계수는 -0.77이었다. 다만 기본 온도 1에서는 샘플러별 성능이 대체로 비슷했다.
Footnotes
-
arXiv cs.AI, 「Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)」, 2026-11-18. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat) — arXiv cs.AI · 자료: 2026. 11. 18.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.