LLM 유휴 자원 공유 위한 GPU 관리 계층 제안
최근 30일 조회수 —좋아요 —핵심 요약
연구진은 긴급한 LLM 추론을 보장하며 GPU 유휴 용량을 다른 작업에 배분하는 자원 관리 방식을 제안했다.
대규모언어모델(LLM) 추론 때 놀고 있는 연산 자원을 다른 작업과 나눠 쓰기 위해, GPU에도 운영체제와 같은 자원 관리 계층이 필요하다는 연구가 나왔다. 11월 9일 공개된 arXiv 프리프린트(2611.08720v1)에서 연구진은 긴급한 추론 요청의 일정을 지키면서 유휴 용량을 유용한 작업으로 채우는 방식을 제안했다.1
연구진이 대형 오픈 모델 2종을 측정한 결과, 빠른 응답이 필요하고 각 생성 단계가 메모리를 기다리는 탓에 수학 연산 장치의 가동률은 6~11%에 그쳤다. 저자들에 따르면 현재 제공되는 기능으로 공유에 맞춰 설계한 작업에는 GPU 용량의 25%, 실제 작업에는 10%를 되돌려 쓸 수 있었으며, 이때 디코딩 속도는 5% 느려졌다.
연구용 시스템에서는 하나의 상주 커널이 모델 전체를 실행해 단일 요청 기준 vLLM의 최적 결과보다 빨랐고, GPU를 공유할 때의 속도 저하는 2% 미만이었다고 저자들은 보고했다. 다만 손으로 최적화한 모델 하나를 넘어 확장하려면 컴파일러와 새로운 칩 기능이 필요하다. 이 논문은 arXiv 프리프린트다.
Footnotes
-
arXiv cs.DC, The GPU Needs an Operating System, arXiv:2611.08720v1, 2026-11-09. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- The GPU Needs an Operating System — arXiv cs.DC · 자료: 2026. 11. 9.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.