Voodoo Dynamic Quant, MIT 라이센스 공개
Voodoo Dynamic Quant - Now MIT Licensed
Voodoo Quant는 새로운 동적 양자화 방법으로, MIT 라이센스 하에 공개되었다. 이 방법은 각 텐서에 대해 최적의 양자화 레벨을 선택하기 위해 경량화된 경량화 기법을 사용하며, 현재 Qwen 모델에 맞춰 도구 세트가 제공된다. Voodoo Quant는 모든 양자화 레벨을 동시에 실행하고, 경량화 기법을 통해 손실을 최소화하는 방식으로 작동한다. 이 프로젝트는 연구 수준의 결과를 목표로 하며, 특히 낮은 양자화 레벨에서 뛰어난 성능을 보인다.
Voodoo Quant는 각 텐서에 대해 최적의 양자화 레벨을 선택하는 방법을 제공하여, 저사양 기기에서도 모델 성능을 극대화할 수 있다.
원문 출처
r/LocalLLaMA