실패 기록이 소형 LLM의 오류 반복 키워
최근 30일 조회수 —좋아요 —핵심 요약
게임에서 실패한 수를 대화에 남기자 일부 소형 LLM이 이를 피하지 않고 되풀이할 확률이 높아졌다.

실패한 수를 대화 기록에 그대로 남기면 소형 대규모 언어모델(LLM)이 그 수를 피하기보다 되풀이할 가능성이 커진다는 연구가 나왔다. 2026년 10월 23일 공개된 arXiv 프리프린트 2610.30205v1은 소코반·사목·오셀로에서 1억3500만~17억 매개변수 규모의 지시 조정 모델 8개를 시험했다.1
연구진은 정답 수를 변형해 만든 고정 문제에서 실패한 수와 오류 메시지를 기록한 뒤 다시 답하게 했다. 전체 모델을 합친 교정 이득은 토큰당 -1.38나트로, 기록 뒤 실패한 수의 확률이 오히려 높아졌다. 이런 역효과는 수의 문자열 표현을 통해 나타났으며, 불법 수에서는 확인됐지만 합법적이면서 패배로 이어지는 수에서는 나타나지 않았다. 모든 모델이 같은 반응을 보인 것도 아니다.
탐색 분석에서는 원래 선택 가능성이 낮던 수가 기록 뒤 강화돼 탐욕 디코딩 결과에 등장했다. 이미 선택 직전이던 수의 확률은 낮아졌지만 38%는 다시 출력됐다. 수 자체를 빼고 실패만 설명하면 기존 선호가 유지됐다. OLMo 2 1B에서는 기본 모델에 있던 역효과가 DPO 단계에서 대부분 사라졌다. “반복하지 말라”는 지시는 효과가 없었고, 출력 차단은 정확한 반복만 막을 뿐 다른 불법 수까지 막지는 못했다.
측정은 무료 Colab GPU에서 float32로 수행됐다. 고정 탐색 문제와 일부 소형 모델에서 얻은 프리프린트 결과이므로 일반적인 게임 수행이나 대형 모델로 곧바로 확대해 해석하기는 어렵다.
Footnotes
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Feedback That Backfires in Games: Do LLM Players Repeat the Move They Just Watched Fail? — arXiv cs.AI · 자료: 2026. 10. 23.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.