NVIDIA, 전체 스택 공동설계로 AI 메모리 한계 해결 방식 제시

More Performance From Every Byte: How Full-Stack Codesign Solves AI’s Memory Challenge

NVIDIA는 대형 모델, 긴 컨텍스트, 에이전트 애플리케이션으로 GPU 메모리 부담이 커지는 상황에서 GPU, CPU, 네트워킹, 스토리지, 소프트웨어를 함께 설계하는 전체 스택 공동설계(full-stack codesign)를 내세웠다. 기사에 따르면 Blackwell Ultra에서 Vera Rubin 플랫폼까지 GPU당 HBM 용량은 약 3% 늘었지만 SemiAnalysis AgentX 기준 에이전트 처리량 대비 비용은 최대 30배 개선됐다고 한다. 기사는 AI 팩토리가 HBM, CPU 메모리, 로컬 SSD, 공유 스토리지로 이어지는 메모리·스토리지 계층 위에서 동작한다고 설명한다. 이에 맞춰 NVFP4 형식으로 모델 가중치와 KV 캐시의 공간을 FP8 대비 줄이고, NVL72 시스템에서는 가중치를 최대 72개 GPU에 분산한다. 또한 Vera CPU의 LPDDR 메모리와 NVIDIA CMX 컨텍스트 메모리 스토리지를 활용해 비활성 컨텍스트를 옮겼다가 재사용 전에 되돌리며, NVIDIA Dynamo의 KV Cache Reuse가 GPU 메모리, CPU 메모리, 스토리지를 하나의 시스템 자원으로 관리한다. RAG 임베딩을 압축하고 인덱스를 HBM 밖에 두는 방식도 함께 소개됐다. 기사는 HBM 용량만 늘리면 메모리 대역폭이 이를 따라가지 못해 이른바 메모리 월(memory wall)에 부딪히고, 그 이후의 추가 HBM은 비용과 전력만 더한다고 지적한다. NVFP4 체크포인트를 공개한 모델로 FLUX.2 [klein], Inkling, Beam 1.0, Meta Muse Spark, Step 5 Preview, Nemotron 3.5 Super VL이 언급됐다.