희귀 행동 표본추출 벤치마크 공개
최근 30일 조회수 —좋아요 —핵심 요약
PosteriorBench 평가에서 희귀 행동의 실제 조건부 분포를 저비용으로 충실히 재현한 방법은 없었다.

희귀한 언어모델 행동을 조건으로 응답을 표본추출하는 알고리즘을 평가하는 벤치마크 PosteriorBench가 11월 21일 공개됐다. 연구진은 일반 표본추출로는 관찰하기 어려운 행동을 보인 대화 기록의 실제 조건부 분포를 얼마나 적은 연산으로 충실하게 재현하는지 비교한다.1
PosteriorBench는 Qwen3.5-0.8B를 대상으로 행동 발생 확률이 (10^{-5})~(10^{-1})인 21개 과제를 담았다. 10억 개의 라벨링된 응답 말뭉치에서 얻은 정확한 사후분포 표본을 기준으로 삼고, 연산 비용과 순방향·역방향 쿨백-라이블러(KL) 발산을 함께 측정한다.
저자들이 평가한 방법 가운데 효율성과 충실성을 모두 갖춘 것은 없었다. 프롬프팅은 비용이 낮지만 실제 사후분포와의 KL 발산이 높은 수준에서 더 줄지 않았고, 사후분포 표본을 이용한 미세조정은 비용이 지나치게 큰 경우가 많았다. 기존 연구의 여러 훈련법도 더 나은 결과를 내지 못했다. 저비용으로 실제 사후분포를 근사하는 표본추출기는 아직 미해결 과제다.
논문은 arXiv:2611.25735v1, 코드와 데이터는 GitHub에서 볼 수 있다.
Footnotes
-
arXiv cs.LG, 「PosteriorBench: Evaluating Behavior Posterior Sampling in Language Models」, 2026년 11월 21일. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- PosteriorBench: Evaluating Behavior Posterior Sampling in Language Models — arXiv cs.LG · 자료: 2026. 11. 21.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.