KVStream, LLM 캐시 검색 병목 완화

최근 30일 조회수 —좋아요 —

핵심 요약

여러 저장 계층의 대역폭을 결합해 LLM 캐시 검색 성능을 높이고 TTFT를 최대 6.1배 줄였다.

KVStream, LLM 캐시 검색 병목 완화 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

장문 대규모언어모델(LLM) 서빙에서 여러 저장 계층을 동시에 활용해 키-값(KV) 캐시 검색 병목을 줄이는 KVStream이 제안됐다. 에이전트·코딩·문서 작업은 GPU와 호스트 메모리를 넘어서는 접두사 캐시를 재사용하지만, 기존 방식은 노드의 NVMe 한 대에 검색이 몰리고 병렬 파일 시스템이나 클라우드 저장소는 거의 활용하지 못한다.1

KVStream은 한 추론 단계의 읽기를 묶고 쓰기는 순전파 뒤로 미룬다. 각 캐시 조각을 모든 저장 계층에 복제한 뒤, 여유가 생긴 계층이 아직 읽지 않은 조각을 가져가도록 동적으로 배분한다. 저자들은 이 방식이 별도의 예측이나 조정 없이 저장 계층의 합산 대역폭 한계에 도달하며, 고정 분할은 계층별 대역폭이 달라지거나 흔들릴수록 격차가 커진다고 설명한다.

LMCache에 KVStream을 결합해 모델 4종, 데이터셋 6종, 최대 GPU 128개로 평가한 결과, 검색 성능은 이론적 한계의 5% 이내였다고 저자들은 보고했다. LMCache보다 오프라인 처리량은 최대 1.49배 높았고, 요청이 몰릴 때 평균 첫 토큰 생성 시간(TTFT)은 최대 6.1배 줄었다. 다만 호스트 메모리에 재사용 데이터가 남아 있거나 요청 순서상 캐시 적중이 유지되면 TTFT 이점은 사라진다는 것이 성능 모델의 예측이다.

이 논문은 2026년 10월 26일 공개된 arXiv:2610.31827v1 프리프린트다.

Footnotes

  1. arXiv cs.DC, 「KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. KVStream: Adaptive Parallel Storage Management for KV Caching in Large-Scale LLM Serving — arXiv cs.DC · 자료: 2026. 10. 26.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.