Tencent의 295B-파라미터 Mixture-of-Experts 모델 Hy3 출시
tencent/Hy3
Tencent에서 개발한 Hy3는 295B 파라미터를 가진 Mixture-of-Experts(MoE) 모델로, 21B의 활성 파라미터와 3.8B의 MTP 레이어 파라미터를 포함한다. Hy3는 비슷한 크기의 모델보다 성능이 우수하며, 주요 오픈 소스 모델과 경쟁할 수 있는 성능을 보여준다. 전체 모델 크기는 598GB이며, FP8 양자화 모델은 300GB이다. 컨텍스트 길이는 256K로 설정되어 있다. 현재 OpenRouter에서 7월 21일까지 무료로 제공된다.
Hy3는 295B 파라미터를 통해 다양한 제품과 생산성 작업에서 유의미한 성능 향상을 보여준다.
원문 출처
Simon Willison's Weblog