GAAC, LLM KV 캐시 무손실 압축
최근 30일 조회수 —좋아요 —핵심 요약
GAAC가 KV 캐시를 최대 1.407배 무손실 압축해 개인 기기의 LLM 추론 속도와 처리량을 높였다.

개인 기기에서 대규모 언어모델(LLM)의 긴 문맥 처리를 가로막는 키-값(KV) 캐시를 값 손실 없이 줄이는 GAAC(Group-Adaptive Additive Codec)가 제안됐다. GAAC는 BF16 지수부의 중복을 이용해 KV 값을 비트 단위로 보존하면서, 시험한 5개 모델에서 1.405~1.407배의 압축률을 기록했다.1
GAAC는 연속 구간의 BF16 지수부를 채널별 기준값과 오프셋으로 부호화하고, 작은 그룹마다 코드 폭을 조절한다. 융합 어텐션 커널은 필요한 KV 타일을 즉석에서 복원해 캐시 전체를 풀지 않는다. 블록 단위 압축과 고정 용량 슬롯도 적용해 점진적 캐시 갱신과 페이지 기반 서빙을 지원한다. 저정밀 캐시 압축률은 FP8 E4M3에서 1.091.14배, E5M2에서 1.251.30배였다.
NVIDIA DGX Spark의 64K 토큰 문맥에서 디코드 어텐션은 1.191.27배, W4A16 종단간 디코드 단계는 1.041.15배 빨라졌다고 저자들은 보고했다. 비슷한 KV 메모리 예산에서는 상주 메모리가 약 26% 줄고 총처리량이 1329% 늘었다. Apple M4에서도 어텐션이 1.021.25배 빨라졌다.
이 결과는 2026년 10월 31일 공개된 arXiv:2610.38210v1 프리프린트의 저자 보고다.
Footnotes
-
arXiv cs.AI, 「GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- GAAC: Lossless KV Compression for Bandwidth-Efficient LLM Inference on Personal Devices — arXiv cs.AI · 자료: 2026. 10. 31.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.