Thinky의 Inkling 모델: 975B 파라미터와 1M 토큰 컨텍스트 지원
[AINews] Thinky's Inkling: 975B-A41B multimodal, new best American Apache 2.0 open model (with Inkling-Small, 276B-A12B)
Thinky는 Inkling이라는 새로운 오픈 모델을 발표했다. Inkling은 총 975B 파라미터와 41B 활성 파라미터를 가진 Mixture-of-Experts 트랜스포머 모델로, 텍스트, 이미지, 오디오를 지원하며 최대 1M 토큰의 컨텍스트 윈도우를 제공한다. 이 모델은 45조 개의 훈련 토큰으로 사전 훈련되었으며, Inkling-Small이라는 12B 활성 파라미터를 가진 경량 모델도 함께 공개되었다. 두 모델 모두 Apache 2.0 라이센스를 따른다.
Inkling은 975B 파라미터를 통해 텍스트, 이미지, 오디오를 효율적으로 처리할 수 있는 멀티모달 모델로, 다양한 응용 프로그램에 활용될 수 있다.
원문 출처
Latent Space (swyx & Alessio)