Inkling: Thinking Machines Lab의 오픈 웨이트 모델
Inkling: Our open-weights model
Mira Murati의 Thinking Machines Lab이 첫 번째 오픈 웨이트 모델인 Inkling을 출시했다. Inkling은 975B의 총 파라미터와 41B의 활성 파라미터를 가진 Mixture-of-Experts 트랜스포머로, 45조 개의 텍스트, 이미지, 오디오, 비디오로 훈련된 Apache-2.0 라이센스의 다중 모달 모델이다. 또한, 276B(12B 활성) 파라미터를 가진 Inkling-Small 모델이 테스트 중이며, 완료 후 가중치가 공개될 예정이다.
Inkling은 다중 모달 기능과 Tinker 훈련 플랫폼에서의 커스터마이징 가능성을 제공하여, AI 모델의 세부 조정에 유용하다.
원문 출처
Simon Willison's Weblog