AutoParallel, 분산 학습 설계 자동화

최근 30일 조회수 —좋아요 —

핵심 요약

PyTorch 네이티브 플래너가 H100 128개 실험에서 TorchTitan 대비 처리량을 최대 18.3% 높였다.

AutoParallel, 분산 학습 설계 자동화 — 기사 주제를 표현한 AI 생성 개념 삽화
AI 생성 개념 삽화 · 실제 사건을 촬영한 사진이 아닙니다.

AutoParallel 연구진이 대규모 모델의 분산 학습 방식을 자동으로 설계하는 PyTorch 네이티브 플래너를 공개했다. 2026년 11월 9일 발표된 arXiv 프리프린트 2611.08660v1에 따르면, AutoParallel은 학습 계산 전반의 병렬화 선택지를 함께 탐색해 여러 기법을 조합하고 일반적인 전문가 설계가 표현하지 못한 계획도 찾아낸다.1

기존 운영 환경에서는 모델 구조와 작업 부하, 하드웨어 연결 방식에 맞춰 병렬화 방식을 사람이 작성하는 경우가 많아 수정 비용이 크고 익숙한 방식에 치우칠 수 있다. AutoParallel은 별도 실행 환경을 두지 않고 PyTorch 기본 추상화로 일반 PyTorch 프로그램을 만든다. 자동으로 정한 부분과 모델별 분산 코드를 함께 쓸 수 있어 동적이거나 특수한 영역은 사용자가 직접 제어할 수 있으며, 생성된 계획은 점검하고 다시 실행할 수 있다.

저자들은 밀집형·하이브리드·전문가 혼합(MoE) 모델을 최대 4차원 메시와 NVIDIA H100 GPU 128개에서 시험했다. 대부분의 구성에서 전문가가 작성한 TorchTitan 방식과 같거나 높은 성능을 냈고, 처리량은 최대 18.3% 늘었다고 보고했다. 다만 이는 초록에 제시된 저자 보고 결과다.

Footnotes

  1. arXiv cs.DC, “AutoParallel: Composable, PyTorch-Native Automatic Parallelism for Production Training” ↩

읽기 목록은 이 브라우저에 저장됩니다.

출처

  1. AutoParallel: Composable, PyTorch-Native Automatic Parallelism for Production Training — arXiv cs.DC · 자료: 2026. 11. 9.

이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.