LLM 긴 문맥서 입력 에너지 비용 급증

최근 30일 조회수 —좋아요 —

핵심 요약

LLM 프리필 에너지는 긴 문맥에서 제곱 복잡도로 급증했으며, PagedAttention은 이를 최대 8.9배 개선했다.

대규모언어모델(LLM)에 긴 문맥을 넣을 때, 입력 처리 에너지 비용이 일정 구간부터 빠르게 커진다는 분석이 나왔다. 연구진은 엔비디아 A100에서 Llama-3.1과 Qwen-2를 고해상도 텔레메트리로 측정해, 입력 전체를 병렬 처리하는 프리필(prefill) 단계에서 GPU 병렬화의 이점보다 어텐션의 (O(n^2)) 복잡도가 커지는 임계점을 확인했다.1

메모리를 효율적으로 관리하는 PagedAttention은 문맥 길이가 세 자릿수 배율로 늘어나는 동안 병목을 늦췄다. 11만2,000토큰에서는 표준 기준선보다 에너지 효율이 최대 8.9배 높았다. 최적화된 서빙 엔진 vLLM에서는 문맥이 길어질수록 입력·출력 토큰의 에너지 비용 격차가 약 850배에서 750배로 줄었다. 반면 최적화하지 않은 기준선은 프리필 자체의 비용이 커 약 150~230배의 비교적 일정한 격차를 보였다.

이 결과는 엔진 최적화가 줄일 수 있는 비용과 모델 구조에 내재한 한계를 구분하는 경험적 틀을 제시한다. 다만 Llama-3.1·Qwen-2와 A100에서 얻은 결과이며, 다른 모델과 하드웨어로 일반화되는지는 초록에서 확인되지 않는다. 논문은 2026년 10월 15일 공개된 arXiv:2610.19819v1 프리프린트로, 동료 심사 완료 여부는 확인되지 않았다.

Footnotes

  1. arXiv cs.DC, 「The Cost of Context: Profiling the Energy Footprint of Input Tokens in Large Language Models」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. The Cost of Context: Profiling the Energy Footprint of Input Tokens in Large Language Models — arXiv cs.DC · 자료: 2026. 10. 15.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.