AI 인프라 효율성을 위한 성능 대비 전력 소비의 중요성
Why Performance per Watt Is the Ultimate Metric for AI Infrastructure Efficiency
AI 인프라에서 전력은 필수적인 제약 조건이다. AI 공장이 고정된 전력 예산 내에서 생성할 수 있는 토큰 수는 수익성과 직결된다. NVIDIA Blackwell NVL72 플랫폼은 최고 성능 대비 전력 소비를 제공하며, 72-GPU 도메인에서 MoE 아키텍처를 효율적으로 지원한다. NVIDIA GB300 NVL72 시스템은 NVIDIA Hopper 세대에 비해 최대 25배의 성능 대비 전력 소비를 제공하며, 이는 AI 추론 작업의 토큰 처리량을 극대화하기 위해 설계된 코드 디자인의 결과이다. 또한, NVIDIA DSX MaxLPS는 전력과 효율성을 개선하여 동일한 전력 예산 내에서 최대 40% 더 많은 GPU를 운영할 수 있게 한다.
NVIDIA GB300 NVL72 시스템은 NVIDIA Hopper에 비해 최대 25배의 성능 대비 전력 소비를 제공하여 AI 인프라의 수익성을 극대화한다.
원문 출처
NVIDIA Blog