덱스어텐션, 16개 GPU 학습 1.39배 가속
최근 30일 조회수 —좋아요 —핵심 요약
동적 희소 어텐션을 빠르게 재계획·분산 실행해 16개 GPU에서 학습 속도를 평균 1.39배 높였다.
희소 어텐션의 동적 마스크를 빠르게 재계획하고 여러 GPU에서 지속 실행하는 분산 시스템 덱스어텐션(DexAttention)이 11월 19일 arXiv에 공개됐다. 연구진은 4개 노드·16개 GPU 환경의 11개 구성에서 적용 가능한 기준 기법 가운데 가장 빠른 방식보다 종단 간 학습 속도가 기하평균 1.39배 빨라졌다고 보고했다. 동적 비디오 어텐션에서는 계획 시간을 포함해 링 어텐션(Ring Attention)보다 2.11~2.37배 빨랐다.1
희소 어텐션은 계산량을 줄이지만, 분산 환경에서는 불필요한 데이터 전송과 연산별 실행 비용이 남는다. 마스크가 계속 바뀌면 이를 반영하는 재계획 자체가 절감한 실행 시간보다 비싸질 수도 있다. 덱스어텐션은 GPU 가속·네트워크 토폴로지 인식 클러스터링으로 연산 부하와 통신량을 조정하고, 가벼운 탐욕적 스케줄러로 큰 단위의 통신·계산 순서를 정한다. 각 GPU의 지속 커널은 세부 의존성을 처리하고 준비된 작업을 실행해, 어텐션 커널을 반복 호출하지 않고 통신과 계산을 겹친다. 정적·동적 헤드별 마스크와 여러 어텐션 계산 커널을 지원한다.
이 결과는 저자들이 보고한 16-GPU 실험에 한정된다. arXiv v1 프리프린트이며, 다른 규모나 하드웨어에서의 성능은 자료에 제시되지 않았다. 논문은 arXiv:2611.23512v1에서 확인할 수 있다.
Footnotes
-
arXiv cs.DC, 「DexAttention: Distributed Sparse Attention through Rapid Online Planning and Persistent GPU Execution」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- DexAttention: Distributed Sparse Attention through Rapid Online Planning and Persistent GPU Execution — arXiv cs.DC · 자료: 2026. 11. 19.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.