Alibaba Qwen3.8-2.4T-A95B 모델 공개 및 Amazon SageMaker HyperPod 배포 방법
Deploying Qwen3.8-2.4T-A95B on Amazon SageMaker HyperPod with vLLM
2026년 8월 12일, Alibaba의 Qwen 팀은 Qwen3.8-2.4T-A95B 모델을 공개했다. 이 모델은 2.4조 개의 총 매개변수를 가지며, 262K 토큰까지의 네이티브 컨텍스트를 지원한다. Qwen3.8은 다단계 코딩, 장기 계획 및 자율 도구 사용을 포함한 복잡한 작업을 처리할 수 있도록 설계되었다. 이 모델은 Amazon SageMaker HyperPod에서 vLLM을 사용하여 배포할 수 있으며, 8개의 NVIDIA B300 Blackwell Ultra GPU를 사용하는 ml.p6-b300 인스턴스에서 실행된다.
Qwen3.8-2.4T-A95B는 2.4조 개의 매개변수를 통해 복잡한 작업을 처리할 수 있는 능력을 제공하며, Amazon SageMaker HyperPod에서의 배포 방법은 대규모 모델 운영에 대한 실용적인 접근법을 제시한다.
원문 출처
AWS Machine Learning Blog