KV 캐시 / KV캐시
4건
기사 통계를 확인하고 있습니다.
NVFP4-MLA, KV 캐시·어텐션 FP4 통합
정확도를 유지하며 KV 캐시를 3배 이상 압축하고 어텐션과 에이전트 서빙 속도를 높였다.

SHADOWPREFILL, LLM 전환 지연 최대 21.4% 단축
후보 모델의 문맥을 미리 처리해 에이전트의 모델 전환 지연과 토큰 비용을 줄이는 기법이 공개됐다.

GAAC, LLM KV 캐시 무손실 압축
GAAC가 KV 캐시를 최대 1.407배 무손실 압축해 개인 기기의 LLM 추론 속도와 처리량을 높였다.

KVStream, LLM 캐시 검색 병목 완화
여러 저장 계층의 대역폭을 결합해 LLM 캐시 검색 성능을 높이고 TTFT를 최대 6.1배 줄였다.