NVFP4-MLA, KV 캐시·어텐션 FP4 통합

최근 30일 조회수 —좋아요 —

핵심 요약

정확도를 유지하며 KV 캐시를 3배 이상 압축하고 어텐션과 에이전트 서빙 속도를 높였다.

장문 추론과 에이전트 작업에서 대규모 언어모델의 병목으로 꼽히는 키-값(KV) 캐시 저장과 어텐션 연산을 모두 4비트 부동소수점(FP4)으로 처리하는 NVFP4-MLA가 공개됐다. 연구진은 다중 헤드 잠재 어텐션(MLA)의 양자화 알고리즘, 연산 커널, 캐시 시스템을 함께 설계했다.1

정확도 저하에 민감한 채널에만 NVFP4 잔차를 더하고, 2차원 양자화 블록으로 두 차례의 배치 행렬 곱셈 사이 재양자화를 없앴다. 저자들이 보고한 결과에 따르면 DeepSeek-R1과 Kimi-K3에서 9개 벤치마크 평균 정확도가 BF16 MLA와 같았고, KV 캐시는 각각 3.20배와 3.05배 압축됐다. NVIDIA Rubin GPU에서는 FP8 MLA보다 어텐션 커널이 최대 2.82배와 2.71배 빨라졌다. 에이전트형 다중 턴 서빙의 첫 토큰 생성시간 90백분위수는 각각 최대 3.5배와 2.1배 줄었으며, 분리형 DeepSeek-R1 서빙의 GPU당 처리량은 최대 2.30배 늘었다.

이 결과는 2026년 11월 17일 공개된 arXiv:2611.18972v1 초록에 따른 것이다.

Footnotes

  1. arXiv cs.DC, 「NVFP4-MLA: Unified FP4 KV-Cache Storage and Attention Computation for Multi-Head Latent Attention」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. NVFP4-MLA: Unified FP4 KV-Cache Storage and Attention Computation for Multi-Head Latent Attention — arXiv cs.DC · 자료: 2026. 11. 17.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.