KittenML, 1.58비트 삼항 가중치 TTS 모델 Kitten-TTS 2 공개 — CPU 실시간 구동·제로샷 음성 복제
Kitten-TTS 2: New Open-source SOTA 1.58 bit TTS (CPU-only with voice cloning, multilingual, emotion control)
KittenML이 코드와 가중치를 공개한 Kitten-TTS 2는 기사에서 세계 최초의 1.58비트 TTS 모델로 소개됐다. CPU만으로 실시간 구동되며 제로샷 음성 복제, 다국어, 감정·강세 제어를 지원한다. 모든 선형 가중치가 -1, 0, +1 세 값 중 하나인 삼항(ternary) 가중치를 사용하며, 스케일은 그룹 크기 128 단위로 적용된다. 모델 파라미터는 1.7B로 기재됐다. 기사에 따르면 CPU 추론용 최적화된 삼항 커널이 함께 제공되며, GPU 없이도 실시간 생성이 가능하다. 참조 음성 5초 미만으로 파인튜닝 없이 음성을 복제하며 억양 정보를 포함한 표현력을 유지한다고 한다. 20개 이상 언어에서 음성 복제를 지원하고, 언어를 바꾼 크로스 링구얼 복제로 억양 있는 음성을 만들 수 있다. V0.8에서 2로 오면서 아키텍처가 완전히 새로워졌고 음질이 높아졌다고 밝혔다. 기사는 코드와 가중치가 오픈소스이며 GitHub과 Hugging Face에서 받을 수 있다고 안내한다. 기사에는 평가 수치나 상용 TTS와의 직접 비교 결과가 제시되어 있지 않다.
GPU 없이 CPU에서 실시간 구동되는 1.7B 삼항 가중치 모델과 5초 미만 참조 음성 기반 제로샷 복제는 로컬 또는 자체 호스팅 TTS 구성의 비용 기준을 바꿀 수 있는 조건이다.
원문 출처
r/LocalLLaMA