GPU 메가커널 상주성의 성능 판단 한계
최근 30일 조회수 —좋아요 —핵심 요약
H100 실험에서 메가커널의 성능은 상주성보다 종속성 순서와 자원·대역폭 여유에 크게 좌우됐다.

GPU 메가커널의 CTA 상주성(residency)만으로는 실제 연산 중첩 기회를 정확히 판단하기 어렵다는 분석이 나왔다. 연구진은 H100에서 대규모 언어 모델(LLM)용 메가커널 ThunderKittens(TK)와 VDCores를 원래 연산자 코드로 분리 커널 형태로 재구성했다. 프로그램 기반 종속 실행(PDL)으로 시작 과정과 피연산자 적재를 겹치자 TK의 디코딩 단계 지연시간은 5.7% 줄었고, VDCores는 필요한 메모리 순서를 양쪽 모두 지켰을 때 메가커널과 비슷한 성능을 냈다.1
다만 연산자 전체에 종속성이 걸리면 TK의 지속 실행이 사전 적재에서 더 큰 이점을 보였지만, 런타임과 완료 신호의 순서 보장 비용이 이를 웃돌았다. 중첩 효과도 자원 여유에 좌우됐다. 통신용 스트리밍 멀티프로세서(SM)를 따로 두면 행렬곱 연산 단계가 늘어 이득이 사라질 수 있고, 메모리 대역폭이 이미 포화됐다면 유휴 SM을 채워도 효과가 작았다.
논문은 커널 사이에서 자원을 더 일찍, 세밀하게 재사용하도록 GPU 지원을 개선할 필요가 있다고 제안한다. 이 연구는 2026년 11월 3일 공개된 arXiv:2611.00495v1이다.
Footnotes
-
arXiv cs.DC, 「Understanding GPU Megakernels: Why Residency Can Mislead」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Understanding GPU Megakernels: Why Residency Can Mislead — arXiv cs.DC · 자료: 2026. 11. 3.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.