Thinking Machines Lab의 Inkling 모델과 Moonshot AI의 Kimi K3 모델 발표
The Sequence Radar #897: Last Week in AI: China, Compression and the Open-Model Race
Thinking Machines Lab은 9750억 개의 파라미터를 가진 Inkling 모델을 발표했다. 이 모델은 41억 개의 활성 파라미터와 텍스트, 이미지, 오디오 입력을 지원하며, 100만 토큰의 컨텍스트 윈도우를 갖추고 있다. Moonshot AI는 2.8조 개의 파라미터를 가진 Kimi K3 모델을 소개했으며, 이는 896명의 전문가 중 16명을 활성화하고, 비전과 100만 토큰의 컨텍스트를 지원한다. PrismML은 5.9GB의 크기를 가진 Bonsai 27B 모델을 발표했으며, 이는 현대 스마트폰의 메모리에 적합하다고 주장하고 있다. OpenAI는 GPT-Red라는 내부 자동화된 레드팀 시스템을 도입하여 다른 모델의 취약점을 발견하고 공격하는 데 사용하고 있다.
원문 출처
TheSequence (Jesus Rodriguez)