SHADOWPREFILL, LLM 전환 지연 최대 21.4% 단축
최근 30일 조회수 —좋아요 —핵심 요약
후보 모델의 문맥을 미리 처리해 에이전트의 모델 전환 지연과 토큰 비용을 줄이는 기법이 공개됐다.

에이전트가 작업 단계마다 거대언어모델(LLM)을 바꿀 때 생기는 지연을 줄이는 서빙 기법 SHADOWPREFILL이 11월 11일 공개됐다. 연구진은 선택되지 않은 다음 후보 모델에도 유휴 용량을 활용해 세션 문맥을 미리 입력함으로써, 모델 전환 직후 캐시를 다시 만드는 시간을 줄였다.1
단계별 라우터는 비용에 유리한 모델을 호출마다 고르지만, 키·값(KV) 캐시는 모델별로 관리돼 전환 시 문맥을 다시 처리해야 한다. 평균 문맥 길이가 6만3천 토큰인 실제 코딩 에이전트 기록 등에서 접두부 캐시 적중률은 같은 모델을 연속 호출할 때 8089%였으나, 전환 뒤에는 4465%로 낮아졌다. 전환 호출 시간도 1.5~3.2배로 늘었다.
SHADOWPREFILL은 처리 중인 요청의 서비스수준목표(SLO) 여유분을 활용하고, 미리 만든 KV 캐시는 호스트 메모리로 옮긴다. 준비가 끝나지 않으면 기존의 콜드 전환으로 돌아가 정상 요청을 우선한다. 연구진이 5개 에이전트 벤치마크 묶음에서 LLMRouter로 24개 모델 조합을 시험한 결과, 전환 호출 지연은 8.521.4%, 전체 LLM 호출 지연은 3.717.7%, 라우팅된 토큰 비용은 22.5~46.1% 줄었다. 정상 트래픽은 SLO를 유지했으며 요청당 에너지는 0.4% 늘었다고 저자들은 보고했다.
이 논문은 arXiv:2611.13176v1에 공개됐다.
Footnotes
-
arXiv cs.DC, 「SHADOWPREFILL: Keeping Your Next Model Warm for Per-Step Model Routing in Agentic LLM Serving」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- SHADOWPREFILL: Keeping Your Next Model Warm for Per-Step Model Routing in Agentic LLM Serving — arXiv cs.DC · 자료: 2026. 11. 11.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.