PrismML, Bonsai 27B 모델 출시
The Sequence Knowledge- Issue 924: The Distilled Models You Need to Know About
2026년 7월, PrismML은 Bonsai 27B 모델을 출시했다. 이 모델은 27억 개의 파라미터를 가진 전통적인 모델과 달리, 16비트 정밀도로 약 54GB의 메모리를 요구하는 대신, 약 5.9GB의 3진수 버전과 약 3.9GB의 2진수 버전을 제공한다. 후자는 고급 스마트폰의 메모리 예산에 맞춰 설계되었으며, 다중 모드를 지원하고 긴 컨텍스트를 처리할 수 있으며, Qwen3.6-27B 모델의 추론 및 도구 사용 행동을 대부분 유지한다. 또한, Bonsai는 전통적인 교사-학생 손실 방식 대신 엔드 투 엔드 저비트 훈련 및 양자화를 강조한다.
Bonsai 27B는 기존 모델과 비교해 메모리 사용량을 크게 줄여 고급 스마트폰에서도 활용 가능하게 한다.
원문 출처
TheSequence (Jesus Rodriguez)