128-GPU DumpsterCluster의 경제적 및 환경적 지속 가능성 연구

DumpsterCluster: From Dumpster Diving to Serving LLaMA-70B on $60 GPUs

이 논문은 퇴역한 GPU가 현대 LLM 추론을 지원하는 DumpsterCluster를 형성할 수 있는지, 그리고 이러한 재사용이 경제적으로 실행 가능한지와 환경적으로 지속 가능한지를 조사한다. 연구진은 중고 부품만을 사용하여 128-GPU DumpsterCluster를 구축하고 1년간 운영하였다. 현재 시장 가격 기준으로 DumpsterCluster는 22,000달러로, 8-GPU B200 시스템의 600,000달러와 비교해 경제적 이점이 크다. V100 기반의 DumpsterCluster는 LLaMA-70B 처리량에서 경쟁력을 보였지만, 구형 GPU는 토큰당 에너지 소비가 많아 저렴한 전기가 있는 지역에서만 총 소유 비용이 유리하다. 또한, 중고 시스템은 현재 세대 하드웨어에 비해 8B 모델의 경우 약 4배, 70B 모델의 경우 40배 더 높은 탄소 배출량을 발생시킨다. 따라서 하드웨어 재사용은 저탄소 에너지원과 전략적으로 결합되어야 한다.