SlackSwap, 활성값 교환 병목 완화 제안
최근 30일 조회수 —좋아요 —핵심 요약
호스트 연결 예산을 활용해 활성값 메모리를 절반으로 줄이고 GPU 처리량의 96~100%를 유지했다.

GPU 연산 성능에 견줘 호스트 연결 대역폭이 더디게 늘면서 생긴 활성값 교환 병목을 줄이는 기법 SlackSwap이 제안됐다. 10월 12일 공개된 arXiv 프리프린트 2610.13003에서 연구진은 호스트 연결에 쓸 수 있는 시간을 명시적인 자원 예산으로 다뤘다.1
연구진에 따르면 2015년 Titan X부터 H100까지 최대 학습 처리량은 141배 늘었지만 호스트 연결 대역폭은 3.9배 향상되는 데 그쳤다. A100에서는 조사한 트랜스포머 모델 활성값 가운데 11~38%만 전송 시간을 숨길 수 있었다. 기존 교환 방식은 메모리 요구량을 중심으로 텐서를 내보내 전송 중단을 일으킬 수 있고, 블록 체크포인팅은 호스트 연결을 충분히 활용하지 못한다.
SlackSwap은 한 차례 프로파일링한 반복 실행을 바탕으로 재계산 비용이 큰 텐서에 순전파 연결 예산을 먼저 배정한다. 남은 메모리 부족분은 비용이 낮은 텐서를 재계산해 해소하며, 계층별 동기화 장벽 없이 선입선출 오프로딩과 마감 시점 우선 프리페치를 배치한다.
BERT-Large, GPT-2 XL, Llama-7B 계열 모델의 A100 추적 기반 시뮬레이션에서 활성값 메모리를 절반으로 줄이면서 무제한 메모리 GPU 처리량의 96100%를 유지했다. 최선의 비교 기준보다 처리량은 1.101.11배였고, 계획 생성에는 0.4초 미만이 걸렸다. 다만 결과는 실제 시스템 측정이 아닌 추적 기반 시뮬레이션이며, 동료 심사 여부가 확인되지 않은 프리프린트다.
논문: SlackSwap: Bandwidth-Aware Activation Swapping and Recomputation for Memory-Efficient DNN Training (arXiv:2610.13003v1, 2026-10-12)
NOTE
arxiv.euno.news는 arXiv 공식 서비스가 아닌 독립 요약 서비스다.
Footnotes
-
arXiv cs.DC, 「SlackSwap: Bandwidth-Aware Activation Swapping and Recomputation for Memory-Efficient DNN Training」 ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- SlackSwap: Bandwidth-Aware Activation Swapping and Recomputation for Memory-Efficient DNN Training — arXiv cs.DC · 자료: 2026. 10. 12.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.