MoE
3건
기사 통계를 확인하고 있습니다.

MoE 병렬화 배치, 품질 아닌 내부 결정 바꿔
MoE 학습의 병렬화 배치는 품질을 유지하면서도 라우팅과 최종 예측의 재현성을 크게 흔들었다.

AutoParallel, 분산 학습 설계 자동화
PyTorch 네이티브 플래너가 H100 128개 실험에서 TorchTitan 대비 처리량을 최대 18.3% 높였다.

INC-MoE, 통신·연산 중첩으로 추론 가속
네트워크 내 집단통신과 전문가 연산을 겹쳐 MoE 추론의 지연을 최대 33% 줄이고 처리량을 50% 높였다.