TailGuard-GDS, GPU 꼬리 지연 최대 42.6% 감소
최근 30일 조회수 —좋아요 —핵심 요약
실행 조건별 데이터 경로를 선택하는 TailGuard-GDS가 GPU 워크로드의 꼬리 지연과 유휴시간을 줄였다.

AI 실행 환경에서 NVMe와 GPU 메모리 사이의 데이터 이동을 빠르게 하는 GPUDirect Storage(GDS)가 꼬리 지연을 항상 줄이지는 않는다는 측정 결과가 나왔다. 8대의 H100 GPU를 조사한 연구진은 같은 GPU 버퍼 작업이라도 연산 종류, 요청 크기, 동시성, 데이터 배치, 자원 경합에 따라 최적 경로가 달라졌으며, 대역폭이 높은 경로와 꼬리 지연이 짧은 경로도 일치하지 않을 수 있다고 보고했다.1
연구진이 제안한 TailGuard-GDS는 애플리케이션 실행 단계마다 백엔드, 요청 형태, 데이터 배치를 조합한 경로를 측정한 뒤 GPU에서 보이는 꼬리 지연이 가장 짧은 방식을 선택하고, 조건이 바뀌면 결정을 다시 내린다. 정책 조회와 전환에는 마이크로초 단위의 추가 시간이 든다.
PyTorch FSDP에서는 가장 우수한 고정 경로보다 스텝 p95가 18.4%, GPU 유휴시간 p95가 25.3% 줄었다. 8개 GPU를 쓴 ZeRO-3 워크로드 5종에서는 스텝 p95가 고정 호스트 스테이징 대비 7.924.6%, 고정 GDS 대비 28.442.6% 감소했다. 조정된 DeepSpeed AIO와 비교하면 스텝 p95는 5.6% 낮아지고 추정 처리량은 6.1% 높아졌다.
이 결과는 저자들이 보고한 측정치이며, 논문은 arXiv에 게시됐다. arXiv:2611.17824v1, 발표일 2026년 11월 16일.
Footnotes
-
arXiv cs.DC, 「TailGuard-GDS: Tail-Safe Control of GPU Storage Data Movement」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- TailGuard-GDS: Tail-Safe Control of GPU Storage Data Movement — arXiv cs.DC · 자료: 2026. 11. 16.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.