Meta, Muse Spark Open 모델 출시 및 해석 가능성 향상
[AINews] Agents disprove Polysemanticity; greatly improve Interpretability & Alignment
Meta는 Muse Spark Open을 출시하였으며, 이 모델은 816B의 총 파라미터와 42B의 활성 MoE를 갖추고 있다. 이 모델은 텍스트, 이미지, 비디오, 오디오 입력을 지원하며, 코딩, 장기 에이전트 및 다단계 추론을 목표로 하고 있다. Muse Spark Open은 62개의 디코더 레이어와 256명의 전문가를 포함하고 있으며, 하이브리드 주의 메커니즘을 사용한다. 라이센스는 Muse Model License를 따르며, 연간 수익이 2천만 달러를 초과하는 경우 별도의 계약이 필요하다.
Muse Spark Open은 1M 토큰의 컨텍스트 윈도우를 지원하여 다양한 입력 형식을 처리할 수 있어, 복잡한 AI 작업에서 활용 가능성이 높다.
원문 출처
Latent Space (swyx & Alessio)