모델 병합 간섭, 사전 예측·학습 제어 시도

최근 30일 조회수 —좋아요 —

핵심 요약

두 연구가 방향미분과 곡률 기반 함수로 미세조정 모델 병합의 성능 저하를 예측하고 제어했다.

모델을 합친 뒤에야 간섭을 확인하던 방식에서 벗어나, 병합 전 예측과 학습 중 제어를 시도한 연구 두 편이 11월 21일 공개됐다. 두 논문은 각각 출력 변화의 방향미분과 곡률 기반 간섭 함수를 이용해, 개별 미세조정 모델의 작업 벡터를 합칠 때 생기는 성능 저하를 다룬다. 모두 arXiv v1 프리프린트다.

첫 번째 연구(arXiv:2611.25000)는 작업 B의 벡터 방향으로 작업 A 출력의 1차 방향미분을 계산했다. 저자들에 따르면 이 값은 공유 사전학습 모델이 아니라 벡터를 받는 ‘수신 모델’에서 측정해야 간섭을 제대로 예측했다. 비전 실험에서는 변화가 없다고 가정한 기준선보다 정확도 예측 오차를 절반으로 줄였고, 예측이 뒤집히는 사례 대부분을 찾아냈다. 다중 작업 병합에는 경로상 두 차례 평가가 필요했다. 이를 바탕으로 만든 LR-Merge는 라벨 없는 탐색 데이터로 병합 계수를 최적화했으며, 시험한 여러 기본 병합법을 모두 개선했다. 다만 언어모델 LoRA 예비 실험에서는 예측력이 부분적이었다.1

두 번째 연구(arXiv:2611.25430)는 작업 간 곡률 중첩과 업데이트의 부호 있는 정렬로 초과 손실의 상한을 제시했다. 이차 영역에서는 해당 간섭 함수가 초과 손실과 같아 필요·충분 기준이 된다. 곡률 유도 정규화는 학습 중 간섭의 곡률 항을 제한했지만 1차 항은 같은 방식으로 줄이지 못했고, 강한 페널티에서는 오히려 이 항이 지배적이었다. 3개 시드의 트랜스포머 실험에서도 간섭 함수는 병합 성능 저하와 순위 상관을 보였으나, 단순 유클리드 변위보다 강하지 않았다.2

Footnotes

  1. arXiv cs.LG, “Watch Where You Linearize: Predicting and Correcting Model-Merging Interference”, 2026-11-21. ↩

  2. arXiv cs.LG, “Interference Bounds and Merge-Aware Training Dynamics for Composable Fine-Tuned Models”, 2026-11-21. ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Watch Where You Linearize: Predicting and Correcting Model-Merging Interference — arXiv cs.LG · 자료: 2026. 11. 21.
  2. Interference Bounds and Merge-Aware Training Dynamics for Composable Fine-Tuned Models — arXiv cs.LG · 자료: 2026. 11. 21.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요.