MOSS 팀, MOSS-Image·MOSS-TTS 등 음성·음향·이미지·영상 모델 패밀리 공개 AMA 진행
We’re MOSS, the team behind MOSS-Image, MOSS-TTS, and more — Ask Us Anything!
상하이 기반 MOSS 팀이 r/LocalLLaMA에서 음성, 음향, 이미지, 영상 모델을 아우르는 MOSS 모델 패밀리를 소개하며 Ask Us Anything 세션을 열었다. 이미지 모델 MOSS-Image는 Apache 2.0 라이선스로 가중치와 추론 코드가 공개되어 있다. MOSS-Image는 5B DiT 백본 기반 텍스트-이미지 모델로, 중국어·영어 텍스트 렌더링과 JSON 레이아웃 제어를 지원한다. Base와 SFT 가중치 및 번들 추론 코드가 Apache 2.0으로 제공되며, ComfyUI 버전은 3,702,490회 다운로드되었다고 기사는 밝힌다. 음성 쪽에는 음성 합성·보이스 클로닝용 MOSS-TTS, 다화자 대화용 MOSS-TTSD, 스트리밍용 MOSS-TTS-Realtime, CPU 친화적 100M 파라미터 MOSS-TTS-Nano, 참조 오디오 없이 텍스트 설명으로 음성을 만드는 MOSS-VoiceGenerator, 텍스트 기반 효과음 생성 MOSS-SoundEffect가 포함된다. 음향 이해에는 화자 라벨과 타임스탬프를 붙이는 MOSS-Transcribe-Diarize, MOSS-Audio, MOSS-Music이 있고, 영상 쪽에는 긴 영상을 포함한 이미지·영상 이해 MOSS-VL, 스트리밍 영상 이해 MOSS-VL-Realtime, 영상과 음성을 동기화해 함께 생성하는 MOVA가 있다. 팀은 자신들의 연구 목표가 주변 상황(사람들이 말하는 것, 보고 있는 것, 시간에 따른 변화)을 따라가는 AI를 만드는 것이라고 설명하며, 이를 위해 음성 생성, 음향·시각 이해, 동기화된 음향-영상 생성을 함께 다룬다고 밝혔다. API와 Playground, Hugging Face, GitHub 리소스도 함께 공개되었다. 질의응답은 10월 30일 오전 8시부터 11시(PT)까지 진행되며 이후 48시간 동안 스레드를 계속 확인한다고 한다.
MOSS-Image의 Apache 2.0 가중치·추론 코드와 MOSS-TTS-Nano의 CPU 친화적 스트리밍 추론은 로컬 환경에서 직접 실험해 볼 수 있는 선택지를 제공한다.
원문 출처
r/LocalLLaMA