장문 생성 성능 저하, 샘플링이 원인

최근 30일 조회수 —좋아요 —

핵심 요약

고온 설정에서 후보 토큰을 제한한 top-nsigma가 오픈 모델의 장문 생성 성능을 유지했다.

장문 생성 성능 저하, 샘플링이 원인 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

오픈 가중치 언어모델의 장문 생성 성능 저하는 추가 학습보다 샘플링 방식에서 비롯될 수 있다는 분석이 나왔다. 11월 18일 공개된 arXiv 프리프린트 「Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)」(arXiv:2611.22148v1)는 온도를 높일 때 낮은 확률의 토큰까지 후보에 넣는 샘플러가 성능 저하를 일으킨다고 보고했다.1

연구진은 10개 기존 벤치마크와 최대 100만 토큰의 니들 검색에서 10억1,220억 매개변수 규모의 오픈 가중치 모델 29개를 시험했다. 온도 2에서 top-p, top-k, Top-H를 적용한 코딩 에이전트는 GitHub 문제 100개 중 하나도 해결하지 못했지만, top-nsigma는 Qwen3.5 모델 3종에서 4662개를 해결했다. 전체 벤치마크에서 top-nsigma는 온도 1 대비 점수의 중앙값 100%를 유지한 반면 top-p는 26%에 그쳤다.

저자들은 온도가 오를수록 후보 토큰 풀이 커지는 현상을 원인으로 제시했다. 한 Llama-3.1-8B 이야기 생성 사례에서 top-p 후보는 4개에서 51,845개로 늘었지만 top-nsigma는 3개를 유지했다. 133개 설정에서 후보 수와 평가 품질의 스피어만 상관계수는 -0.77이었다. 다만 기본 온도 1에서는 샘플러별 성능이 대체로 비슷했다.

Footnotes

  1. arXiv cs.AI, 「Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)」, 2026-11-18. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat) — arXiv cs.AI · 자료: 2026. 11. 18.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.