EE-RL, LLM 강화학습 GPU 에너지 16.9% 절감
최근 30일 조회수 —좋아요 —핵심 요약
EE-RL은 학습 단계별 GPU 주파수를 조절해 처리량을 유지하며 토큰당 에너지를 최대 16.9% 줄였다.

대규모언어모델(LLM) 강화학습에서 응답 생성과 정책 학습 단계에 맞춰 GPU 주파수를 따로 조절해 에너지 사용량을 줄이는 온라인 제어기 EE-RL이 공개됐다. 11월 5일 발표된 arXiv 프리프린트에 따르면, EE-RL은 유효 학습 토큰당 GPU 에너지를 최대 16.9% 절감했으며 처리량 감소는 크지 않았다고 저자들은 보고했다.1
LLM 강화학습은 응답 생성과 정책 학습을 번갈아 수행하는데, 두 단계가 GPU에 요구하는 연산 특성은 서로 다르다. EE-RL은 각 단계의 후보 주파수를 기본 GPU 거버너의 예상 성능과 같은 토큰 작업량에서 비교하고, 처리량 기준을 충족하는 설정 가운데 에너지 효율이 가장 높은 값을 선택한다. 이후 응답 길이와 작업 부하가 달라지면 처리량과 에너지를 감시해 주파수를 다시 조정한다.
H100과 GB200에서 진행한 고정 주파수 탐색에서는 동기·비동기 실행 전반에 걸쳐 유효 학습 토큰당 GPU 에너지가 최대 28.2% 줄었다. 다만 이는 고정 주파수 탐색에서 확인한 절감 여지이며, 실제 온라인 제어기의 최대 절감률은 16.9%다. 구체적인 처리량 감소 폭은 제공된 초록에 제시되지 않았다.
이 연구는 arXiv 프리프린트다. 논문은 arXiv:2611.05748v1에서 확인할 수 있다.
Footnotes
-
arXiv cs.DC, 「Energy-Efficient Reinforcement Learning for Large Language Models」, 2026년 11월 5일. ↩
읽기 목록은 이 브라우저에 저장됩니다.
출처
- Energy-Efficient Reinforcement Learning for Large Language Models — arXiv cs.DC · 자료: 2026. 11. 5.
이 글은 위 출처를 근거로 자동 생성된 뒤 발행됐습니다. 원문을 함께 확인해 주세요. 교차 보도 없이 단독 출처로 작성됐습니다.