ResServe, 잔여값 보정으로 FP4 추론 개선

최근 30일 조회수 —좋아요 —

핵심 요약

ResServe는 칩 내 잔여값 보정으로 FP4 LLM 추론의 정확도를 높이면서 지연시간 증가를 억제했다.

ResServe, 잔여값 보정으로 FP4 추론 개선 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

ResServe는 4비트 부동소수점(FP4) 양자화에서 버려지는 정보를 ‘잔여값’으로 보정해, 대규모 언어 모델(LLM) 추론의 품질 저하를 줄이는 기법이다. 연구진은 FP4로 양자화한 활성값과 잔여값을 함께 계산하고 결과를 칩 안에서 결합해 추가 전송을 피했다. 디코딩 단계의 좁은 행렬 연산에서 남는 하드웨어 처리 용량을 활용하며, 입력 프롬프트 처리 때는 보정을 선별 적용해 연산 증가를 제한한다.1

NVIDIA B200에서 NVFP4 형식을 평가한 결과, 행 수가 적은 선형 연산은 보정하지 않은 실행과 비슷한 지연시간을 유지하면서 수치 정밀도가 개선됐다. ResServe의 요청 지연시간은 W4A4보다 최대 3.4% 늘었지만 W4A8보다는 22.4~53.3% 짧았다. 5개 모델의 코드 생성 정확도는 같은 형식의 무보정 추론보다 높았고, 평균 상대 향상률은 NVFP4 15.04%, MXFP4 53.57%였다.1

다만 결과는 논문이 평가한 모델·연산·추론 구성과 B200 환경에 한정된다. 다른 작업이나 하드웨어에서 같은 절충 효과가 나는지는 초록만으로 확인할 수 없다. 이 연구는 2026년 11월 9일 공개된 arXiv:2611.08713v1 프리프린트다.

Footnotes

  1. arXiv cs.DC, 「ResServe: Accurate and Efficient FP4 LLM Inference with Residue Compensation」 ↩ ↩2

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. ResServe: Accurate and Efficient FP4 LLM Inference with Residue Compensation — arXiv cs.DC · 자료: 2026. 11. 9.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.