LLM 서버의 준안정 장애와 복구법
최근 30일 조회수 —좋아요 —핵심 요약
부하 급증 뒤 세션·캐시의 악순환으로 처리량이 급감하는 장애를 분석하고 완화 기법 Basin을 제안했다.

LLM 에이전트 서버가 짧은 부하 급증 뒤에도 이전 성능을 회복하지 못하는 ‘준안정 장애’가 발생할 수 있다는 연구가 11월 3일 공개됐다. arXiv 프리프린트 2611.02543v1에서 연구진은 SGLang에 10분간 부하를 높이자 이후 한 시간 동안 유효 처리량이 약 88% 감소했다고 보고했다. 급증 때 남은 세션을 제거하면 서비스는 몇 분 안에 복구됐다.
원인은 세션 수와 캐시가 서로 악화시키는 되먹임이다. 호출이 느려지면 세션이 오래 남고 전체 문맥도 커진다. 이에 따라 캐시 미스와 재계산이 늘면서 세션 종료가 다시 늦어진다. 연구진의 유체 모델은 캐시 용량, 도구 실행 시간, 기본 부하가 취약성에 미치는 영향을 설명했으며, 36개 모의 배치 가운데 캐시가 먼저 무너진 17개 사례를 모두 식별했다.
연구진은 세션별 고정 우선순위와 적응형 수용 예산 등을 적용한 Basin도 제안했다. H200 1P3D 실제 배치에서 도착 시점 기반 시제품은 Continuum보다 1.201.70배, HiCache 단독보다 2.353.59배 높은 유효 처리량을 기록했다. 다만 결과는 시제품과 통제된 시뮬레이션을 포함한 프리프린트다.
읽기 목록은 이 브라우저에 저장됩니다.
출처
- When Cache Pressure Becomes a Trap: Metastability in Agent Serving — arXiv cs.DC · 자료: 2026. 11. 3.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.