Qwen 3.8 27B의 Atomic Dynamic GGUF 양자화 비교
We quantized Qwen 3.8 27B and compared the quants on an RTX 6000
Qwen 3.8 27B에 대해 Atomic Dynamic GGUF 양자화를 수행하고, RTX 6000에서 각 양자화 모델의 성능을 비교하였다. AD-Q4_K_M, AD-Q5_K_M, AD-Q6_K, Q8_0의 네 가지 양자화 모델이 테스트되었으며, 각각의 크기와 성능 지표가 제시되었다. AD-Q6_K 모델이 가장 안전한 선택으로 추천되며, 모든 양자화 모델은 유사한 방식으로 3D 장면을 처리하였다. 결과는 atomic.chat에서 확인할 수 있으며, 모델은 huggingface에서 다운로드 가능하다.
원문 출처
r/LocalLLaMA