Tencent의 Hy4 Preview 모델 발표
Introducing Hy4 Preview
중국 회사 Tencent가 새로운 오픈 웨이트 텍스트 입력 LLM인 Hy4 Preview를 발표했다. 이 모델은 총 770B 파라미터와 49B 활성 파라미터를 가지며, 1M 토큰의 컨텍스트 윈도우를 지원한다. 이전 모델인 Hy3는 295B 파라미터와 21B 활성 파라미터, 256,000 컨텍스트를 가지고 있었다.
Hy4 Preview는 770B 파라미터를 통해 더 향상된 성능을 제공할 것으로 기대된다.
원문 출처
Simon Willison's Weblog