SageMaker Inference, NVIDIA MIG 기반 GPU 파티셔닝 지원 발표
SageMaker Inference now supports Multi-Instance GPU to maximize GPU utilization for model endpoints
Amazon SageMaker Inference가 NVIDIA Multi-Instance GPU(MIG)를 활용한 GPU 파티셔닝을 지원한다고 발표했다. 물리 GPU를 하드웨어 격리된 독립 파티션으로 나눠 GPU 하나에 여러 모델을 배치할 수 있어, 모델 수가 GPU 수보다 많은 경우의 활용률을 높이는 것이 핵심이다. 기존에는 GPU 엔드포인트에서 요청할 수 있는 최소 단위가 가속기 한 장 전체였다. 기사에 따르면 ml.p4d.24xlarge는 A100 여덟 장을 갖추고 있어 모델 크기와 무관하게 최대 여덟 개 모델만 올릴 수 있었다. SageMaker Inference의 GPU 파티셔닝은 MIG로 물리 GPU를 독립 파티션으로 나누며, 각 파티션은 고정된 비율의 컴퓨트 유닛과 전용 메모리 블록을 받고 격리는 하드웨어에서 강제된다. 이를 통해 파티션마다 다른 모델을 배치하거나, 신형 가속기의 일부 파티션을 선택할 수 있다. 이 기능은 추론 컴포넌트(inference components) 기반 엔드포인트에서만 동작하며, 단일 모델 엔드포인트, 서버리스 엔드포인트, 이기종 인스턴스 풀은 파티셔닝할 수 없다. 기사는 기존 대안의 한계도 짚는다. 멀티 모델 엔드포인트는 GPU를 격리 없이 공유해 한 모델의 과부하가 다른 모델에 영향을 주고, 로드되지 않은 모델은 첫 호출 시 로드 지연이 생긴다. 자체 관리 Kubernetes에서 MIG를 쓰는 방법도 있지만 드라이버 버전 관리, 파티션 구성, 디바이스 플러그인, 스케줄링을 직접 맡아야 한다. MIG 자체의 제약으로, 파티션 최대 개수는 가속기에 따라 다르며 일곱 개를 넘지 않고, 레이아웃 변경은 파티션이 유휴 상태일 때만 가능하다. 여러 GPU가 필요한 모델은 여전히 전체 장치가 필요하다.
ml.p4d.24xlarge의 A100 여덟 장에 모델 여덟 개로 제한되던 구조를, 모델별 파티션 프로파일 선택으로 GPU 단위보다 세분화해 배치할 수 있게 된 점이 비용과 활용률 측면에서 의미가 있다.
원문 출처
AWS Machine Learning Blog