정답만으로 LLM 학습하는 역추론 모델

최근 30일 조회수 —좋아요 —

핵심 요약

역추론 모델이 정답에서 사고과정을 생성해 LLM 후속 학습 효율과 답변 검증 정확도를 높였다.

정답만 있는 데이터로 추론 대규모언어모델(LLM)을 후속 학습하고 답을 검증하는 ‘역추론 모델’이 제안됐다. 연구진은 정답을 조건으로 원래 모델의 사고과정(CoT)을 생성하는 별도 LLM을 한 번 학습한 뒤, 새 데이터에 반복 활용하는 자기증류 방식을 설계했다. 생성 작업을 사전에 오프라인으로 처리해 지속적인 후속 학습에 맞췄다.1

기존 지도 미세조정은 정답뿐 아니라 사고과정까지 필요하고, 검증 가능한 보상을 쓰는 강화학습은 최적화 단계마다 여러 답을 생성해야 해 계산량이 크다. 이번 방법은 사고과정을 잠재변수로 다뤄 두 방식의 중간 지점을 겨냥한다.

연구진이 Qwen3-0.6B를 Countdown과 GSM8K에 적용한 결과, GRPO 학습이 포화된 뒤 역추론 모델로 한 차례 오프라인 증류하자 어려운 문제의 pass@1이 대략 두 배가 됐다. Countdown에서는 모든 어려운 꼬리 구간 지표와 혼합 비율에서 거부 샘플링 자기증류를 앞섰지만, GSM8K의 향상 폭은 더 작았다. 새 데이터로 GRPO를 계속하면 어려운 문제의 pass@1에서는 우세했으나 pass@8과 pass@32에서는 증류보다 낮았다.

역추론 모델은 검증기로도 쓰였다. Countdown의 best-of-n 선택 정확도는 다수결의 0.753에서 0.969로 올랐다. 다만 결과는 두 과제와 0.6B 모델에서 보고됐다. arXiv:2610.18878v1, 발표일 2026년 10월 15일.

Footnotes

  1. arXiv cs.LG, “Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Inverse Reasoning Models for Efficient Post-Training and Verification from Answer-Only Data — arXiv cs.LG · 자료: 2026. 10. 15.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.