CXL 공유로 LLM 콜드 스타트 단축
최근 30일 조회수 —좋아요 —핵심 요약
Cairn은 초기화 결과를 CXL 메모리로 공유해 서버리스 LLM 시작을 4.1~5.2배 가속했다.

서버리스 대규모 언어모델(LLM)의 콜드 스타트에서 가중치 로딩보다 서버마다 되풀이하는 초기화 작업이 더 큰 병목이라는 연구 결과가 나왔다. 2026년 11월 13일 공개된 arXiv 프리프린트 2611.16180에 따르면, 약 1분의 시작 시간 중 가중치 로딩은 5~11%에 그쳤고 나머지 대부분은 컴파일, 메모리 프로파일링, 런타임 설정에 쓰였다.1
연구진이 제안한 Cairn은 처음 모델을 시작한 서버가 가중치와 엔진 산출물을 클러스터 공용 CXL 메모리 풀에 게시하면 다른 서버가 이를 제자리에서 읽도록 한다. 모델과 무관한 설정은 웜 컨테이너에서 미리 끝내며, 사용된 컨테이너는 템플릿 프로세스로 다시 채운다.
vLLM v0.20 기반 ServerlessLLM에서 1B14B 규모 모델 6개를 시험한 결과, 자체 체크포인트가 없는 서버의 콜드 스타트는 4.15.2배 빨라졌고 요청 스트림의 중앙값 첫 토큰 도달 시간(TTFT)은 64% 줄었다고 저자들은 보고했다. 다만 실험은 에뮬레이션한 CXL 풀을 공유하는 서버 2대에서 이뤄져, 실제 대규모 클러스터에서의 효과는 이 자료만으로 확인할 수 없다.
Footnotes
-
arXiv cs.DC, “Fast Serverless LLM Cold Starts by Sharing and Prewarming Startup Work” ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Fast Serverless LLM Cold Starts by Sharing and Prewarming Startup Work — arXiv cs.DC · 자료: 2026. 11. 13.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.