DRQ, 저비트 LLM 양자화 성능 개선

최근 30일 조회수 —좋아요 —

핵심 요약

재구성 손실 최소화의 한계를 보완한 DRQ가 추가 추론 부담 없이 다양한 양자화 LLM의 과제 성능을 높였다.

저비트 대규모 언어 모델(LLM) 양자화에서 재구성 손실을 낮추는 통상적 최적화가 실제 과제 성능을 오히려 떨어뜨릴 수 있다는 연구가 나왔다. 2026년 10월 10일 공개된 arXiv 프리프린트(arXiv:2610.11226v1)에서 연구진은 가중치 전용 사후 양자화(PTQ) 시 재구성 손실이 낮은 가중치가 새로운 과제에서 반드시 더 좋은 결과를 내지 않으며, 같은 보정 데이터에서도 모델 성능을 해칠 수 있다고 보고했다.1

연구진의 분석에 따르면 보정 데이터에서 재구성 손실이 낮더라도 입력 활성값 분포가 바뀌면 다른 가중치보다 손실이 커질 수 있다. 이를 보완하려고 입력 활성값 분포의 제한된 범위에서 최악의 재구성 손실을 최소화하는 사후 보정 절차 DRQ(Distributionally Robust Quantization)를 제안했다. DRQ는 기존 양자화 격자 안에서 가중치를 나타내는 정수 코드만 다듬어 양자화 매개변수와 추론 연산자는 바꾸지 않는다.

저자들은 DRQ가 AWQ·GPTQ·ParoQuant를 포함한 6개 PTQ 방식으로 양자화한 모델을 개선했으며, 밀집형과 전문가 혼합(MoE) LLM 모두에서 추론 부담을 추가하지 않고 다운스트림 성능을 높였다고 밝혔다. 다만 구체적인 성능 수치와 평가 과제는 제공된 초록에 제시되지 않았다.

Footnotes

  1. arXiv cs.AI, 「When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. When Lower Reconstruction Loss Hurts: Distributionally Robust Refinement for Low-Bit LLM Quantization — arXiv cs.AI · 자료: 2026. 10. 10.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.