NVIDIA AI Infra Summit: AI 공장 효율성 및 새로운 기술 발표
AI Infra Summit: NVIDIA Vera Rubin and DSX Platform Advancements Showcase Energy Efficiencies of Optimizing Tokens Per Watt for AI Factories
NVIDIA의 Ian Buck 부사장은 AI Infra Summit에서 AI 공장의 효율성에 대해 발표했다. 올해 행사에는 8,000명이 참석했으며, Amazon의 Annapurna Labs는 NVHBM 맞춤형 고대역폭 메모리 기술을 개발 중이다. d-Matrix는 NVLink Fusion과 통합하여 NVIDIA Vera CPU와 Raptor XPU를 결합해 저지연 추론을 제공하고 있다. NVIDIA DSX MaxLPS는 공장 전체 전력 최적화를 통해 최대 1.4배 더 많은 토큰을 생성할 수 있다. MLPerf Inference v6.1에서 NVIDIA Vera Rubin NVL72는 NVIDIA GB300 NVL72보다 최대 3.7배 높은 처리량을 기록했다. 또한, Silicon Valley Power와 협력하여 AI 공장의 전력 소비를 실시간으로 조정하는 DSX Flex를 사용할 예정이다.
NVIDIA DSX MaxLPS는 공장 전체 전력 최적화를 통해 최대 1.4배 더 많은 토큰을 생성할 수 있다.
원문 출처
NVIDIA Blog