LLM 훈련 시 GPU 클럭 주파수 조정으로 에너지 14% 절감
Timing Trick Cuts Energy Used in LLM Training by Up to 14 Percent
OpenAI의 GPT-4는 훈련에 약 50 기가와트시의 전력을 소모하였다. 네덜란드 트벤테 대학교 연구팀은 GPU의 클럭 주파수를 조정하여 LLM 훈련 시 에너지를 최대 14% 절감할 수 있음을 보여주었다. 이들은 Nvidia RTX 3080 Ti GPU에서 GPT-3-XL 모델을 훈련하며, 클럭 주파수 조정으로 훈련 시간을 0.6%만 증가시키면서 에너지를 절감하는 성과를 거두었다.
GPU의 클럭 주파수를 조정하여 LLM 훈련 시 에너지를 14% 절감할 수 있는 방법을 제시하였다.
원문 출처
IEEE Spectrum — AI