SM 점유 없는 GPU 통신 설계 제안

최근 30일 조회수 —좋아요 —

핵심 요약

Zero-SM NCCL은 통신의 SM 점유를 없애 학습 성능을 높이지만 작은 메시지에서는 한계를 보였다.

SM 점유 없는 GPU 통신 설계 제안 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

GPU 통신이 연산 자원인 스트리밍 멀티프로세서(SM)를 점유하는 문제를 줄이기 위해 ‘Zero-SM NCCL’이 제안됐다. 2026년 11월 16일 공개된 arXiv 프리프린트(arXiv:2611.18075v1)에서 연구진은 SM 커널을 실행하지 않고 시스템 내부와 시스템 간 통신을 처리하는 설계를 소개했다.1

Zero-SM NCCL은 CUDA 스트림 메모리 연산으로 동기화하고, 단일 스케일업 영역에서는 복사 엔진으로 데이터를 비동기 전송한다. 네트워크 원격 직접 메모리 접근(RDMA)은 스트림 순서를 따르는 CPU 프록시가 맡는다. AllGather·AlltoAll과 단방향 ncclPutSignal·ncclWaitSignal API도 지원한다.

저자들이 GB200 NVL72와 B200 NVL8에서 측정한 결과, AllGather 대역폭은 기존 SM 기반 NCCL보다 최대 1.36배 높았고, 통신과 겹쳐 실행한 행렬 곱셈(GEMM)의 중앙값 기준 성능 저하는 33%에서 4%로 줄었다. Megatron-LM 학습에서는 완전 샤딩 데이터 병렬화(FSDP)가 최대 3.5%, 단방향 전송을 쓴 파이프라인 병렬화가 최대 15% 빨라졌다.

다만 연산별 지연시간은 더 길었으며, 작은 메시지와 CPU 작업이 병목인 환경에서는 오히려 성능이 낮았다. 저자들은 큰 데이터를 옮기는 GPU 병목 작업과 유휴 구간이 큰 깊은 파이프라인에 적합하다고 설명한다. 이 논문은 arXiv 프리프린트다.

Footnotes

  1. arXiv cs.DC, 「Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication」 ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. Zero-SM NCCL: A Systematic Guide to Designing and Deploying SM-Free GPU Communication — arXiv cs.DC · 자료: 2026. 11. 16.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.