27B 언어모델, 스스로 가중치 고쳐 성능 향상

최근 30일 조회수 —좋아요 —

핵심 요약

27B 모델이 추가 훈련 없이 자체 가중치를 수정해 정확도를 6.6%포인트 높였지만 소형 모델은 실패했다.

언어모델이 경사도 계산이나 추가 훈련 없이 스스로 가중치를 고쳐 성능을 높일 수 있다는 연구가 나왔다. 2026년 11월 18일 공개된 arXiv 프리프린트 2611.21885v1에서 연구진은 이 방식을 자기 재작성(self-rewriting)이라 부른다. 270억 매개변수(27B) 모델은 자신의 가중치와 채점된 답변을 바탕으로 실패 원인을 진단하고, 자신을 실행해 수정안을 검증했다.1

사전에 고정한 미공개 490개 문제에서 수정된 모델의 정확도는 수정 전보다 6.6%포인트 올랐다. 첫 8차례 세션에서는 자체 시험이 개선을 뒷받침할 때만 이전 수정을 교체했고, 정확도는 매번 유지되거나 상승했다. 가중치에 변화가 남아 답변마다 추가 비용이 들지 않으며, 연구진은 공개형 모델과 GPU 1대로 수 시간 안에 수행할 수 있다고 설명했다.

손상된 모델을 복구하는 실험에서는 정상 가중치를 읽지 않고 훼손된 행렬을 찾아 다시 썼다. 텍스트 수학 문제만으로 찾은 수정안이 처음 보는 이미지 벤치마크 6개의 정확도를 7%에서 70%로 높였으며, 이는 정상 모델 성능의 83%였다. 다만 같은 계열의 2B 모델은 수정하지 못했고 4B·9B 모델은 오히려 스스로를 망가뜨렸으며, 27B에서만 개선에 성공했다. 논문

Footnotes

  1. arXiv cs.AI, 「Language Models Can Rewrite Their Own Weights」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Language Models Can Rewrite Their Own Weights — arXiv cs.AI · 자료: 2026. 11. 18.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.