NVIDIA Topograph를 활용한 토폴로지 인식 작업 스케줄링
Topology-Aware Workload Scheduling with NVIDIA Topograph
AI 공장은 전력 제한 시스템으로, 최적화가 이루어질 때 최대 가치를 제공합니다. GPU 작업 배치는 핵심 최적화 요소이며, 부적절한 작업 배치는 토폴로지 도메인을 분할하고 공유 링크를 통한 트래픽을 유도하여 처리량을 감소시키고 작업 비용을 증가시킵니다. 이로 인해 GPU는 데이터를 기다리는 동안 프로비저닝된 전력을 소비하게 됩니다.
GPU 작업 배치 최적화는 AI 공장의 성능과 비용 효율성에 직접적인 영향을 미칩니다.
원문 출처
NVIDIA Technical Blog