Alibaba, Qwen3.8-2.4T-A95B 모델의 오픈 가중치 공개
Serve Qwen3.8-2.4T-A95B, a 2.4T-Parameter Model, with Configurable Reasoning on NVIDIA GB300 NVL72
Alibaba는 Qwen3.8-2.4T-A95B(Qwen3.8-Max)라는 가장 큰 오픈 가중치 모델의 오픈 가중치를 공개했다. 이 모델은 총 2.4조 개의 파라미터를 가지고 있으며, 토큰당 950억 개가 활성화된다. 또한, 세밀한 전문가 혼합(MoE) 아키텍처와 전체 및 선형 주의(hybrid of full and linear attention)를 혼합한 구조를 갖추고 있다.
Qwen3.8-2.4T-A95B는 2.4T의 총 파라미터를 제공하여 오픈 생태계에서 거의 최전선의 기능을 구현한다.
원문 출처
NVIDIA Technical Blog