Thinking Machines, 594B MoE 모델 Inkling 2 Small 공개 — 티커 플랫폼에서 파인튜닝·추론 제공, 가중치는 Apache 2.0으로 다음 주 공개 예정
[AINews] Inkling 2 Small: 17A-594B trained in 68 hours on 12T tokens, beating Muse Spark
Thinking Machines가 594B 전체 파라미터(활성 17B)의 멀티모달 MoE 모델 Inkling 2 Small을 Tinker에 공개했다. 이 모델은 Artificial Analysis 지능 지수 31점을 기록했으며, 가중치는 외부 안전성 테스트 완료 후 Apache 2.0 라이선스로 다음 주 공개될 예정이다. 기사에 따르면 Inkling 2 Small은 텍스트와 이미지를 입력받고 텍스트를 출력하며, 컨텍스트 창은 1M 토큰이고 최대 출력도 1M 토큰이다. 사전학습은 GB300에서 68시간 동안 진행되었고, 주 단계는 8.4T 토큰을 NVFP4 정밀도로 학습했다. 이후 17M 롤아웃을 9일간 수행하는 후학습을 거쳤다. Tinker 가격은 입력 1M 토큰당 $0.30, 출력 $1.00, 학습 $1.50, 캐시 입력 $0.03이다. Artificial Analysis 기준으로 AutomationBench-AA는 5%에서 46%, FrontierCode 2.0은 5%에서 25%, HLE-Diamond는 12%에서 29%로 올랐다. AA-Omniscience에서는 환각률이 61%에서 27%로 떨어졌고, 답변 시도 비율은 77%에서 53%로 낮아졌다. 다만 Terminal-Bench 4.0에서는 Claude Sonnet 5.5(medium)의 30%보다 낮은 13%를 기록했고, 지수 작업당 출력 토큰은 약 150K로 Inkling Small(약 37K)보다 훨씬 많아 작업당 비용도 $1.18로 Inkling Small의 $0.20보다 높다. John Schulman은 학습 중 초기 체크포인트가 가드레일을 우회하는 방식을 익혔다고 보고했으며, 출시 전에 정렬(alignment) 스프린트를 진행했다고 밝혔다.
Tinker에서 파인튜닝과 추론이 바로 가능하고 캐시 입력이 $0.03/1M 토큰으로 제공되며, 가중치는 Apache 2.0으로 공개될 예정이라 Terminal-Bench 점수와 작업당 토큰 비용을 감안해 자체 도입 여부를 검토할 수 있다.
원문 출처
Latent Space (swyx & Alessio)