AI 공장을 위한 NVLink Fusion과 XPUs의 통합
How XPUs Meet a World-Class AI Factory
AI 공장은 지속적으로 운영되며, 경제성은 초당 토큰, 와트당 토큰, 토큰당 비용, 활용도 및 가동 시간으로 정의된다. AI 플랫폼의 설계 및 개발은 XPUs 설계뿐만 아니라 네트워킹, 아키텍처, 소프트웨어 및 공급망 생태계까지 포함해야 한다. NVLink Fusion은 XPUs를 NVIDIA의 AI 인프라에 연결하여 성능을 높이고 시장 출시 시간을 단축하며 리스크를 완화한다. NVLink의 6세대 기술은 72-XPU 도메인에서 높은 대역폭과 낮은 지연 시간을 제공하며, XPU 간 전송 지연은 기존 이더넷 솔루션보다 3배 낮고 패킷 전송 속도는 10배 높다.
NVLink Fusion은 XPUs와 NVIDIA Vera CPUs를 연결하여 PCIe 인터페이스보다 최대 6배 높은 에너지 효율성을 제공한다.
원문 출처
NVIDIA Blog