복구 방식이 언어모델 층 가지치기 최적해 바꿔
최근 30일 조회수 —좋아요 —핵심 요약
선형 복구가 층 간 상호작용을 흡수해 언어모델 깊이 가지치기의 최적 제거 층 조합을 바꾼다는 연구가 나왔다.

언어모델의 트랜스포머 층을 통째로 없애는 ‘깊이 가지치기’에서, 제거 뒤 적용할 복구 방식에 따라 최적의 층 조합이 달라진다는 연구가 나왔다. 연구진은 4개 모델 계열에서 층 그룹의 모든 부분집합을 전수 평가해, 복구 적용 여부를 포함한 약 5만3천 개 가지치기 모델을 비교했다.1
훈련 없이 선형 사상으로 손실을 보완하는 ‘선형 복구’를 적용하면 인접 층 사이의 상호작용이 흡수돼, 최적 배치가 떨어진 층들을 고르는 형태에서 연속된 층 블록으로 바뀌었다. 복구를 고려하지 않고 층을 고른 기존 방식은 복구 후 최적해와 비교해 최대 189% 차이를 보였다. 이에 연구진은 실제 적용할 복구 조건에서 제거 층을 선택해야 한다고 제안했다.
탐욕 탐색은 SLEB와 같은 탐색 비용으로 최대 270억 매개변수 모델 5종에서 ReplaceMe보다 퍼플렉서티를 20~66% 낮췄고, 과제 성능을 목표로 삼으면 같은 데이터에서 정확도가 최대 25%포인트 높았다. 또 손실의 2차 전개를 이용해 원본 모델의 순전파·역전파를 한 번씩 수행하는 점수법도 제시했다. 다만 이는 2026년 10월 23일 공개된 arXiv:2610.30552v1 프리프린트다.
Footnotes
-
arXiv cs.DC, 「Repair Changes Which Layers to Remove: Exact Optima for Depth Pruning of Language Models」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Repair Changes Which Layers to Remove: Exact Optima for Depth Pruning of Language Models — arXiv cs.DC · 자료: 2026. 10. 23.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.