Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS의 RTX 3060에서의 성능
Qwen 3.8 Flash Next-GSQ-RCO-IQ2_XS at ~21 tok/s on just an RTX 3060 12GB + 16GB DDR4 RAM(No gate pruning, 100% bit-exact)
Qwen 3.8 Flash Next IQ2_XS 모델은 RTX 3060 12GB와 16GB DDR4 RAM에서 약 21 tok/s의 속도를 기록하며, 메모리 최적화 없이도 비트 정확한 출력을 제공한다. 이 모델은 68GB 크기로, 기존의 llama.cpp를 사용할 때보다 10~15배 빠른 성능을 보인다. 특히, --moe-direct-io 옵션을 사용하면 페이지 결함이 거의 없고, SSD I/O를 통해 효율적인 데이터 처리가 가능하다.
Qwen 3.8 Flash Next IQ2_XS는 RTX 3060에서 20–21 tok/s의 속도를 달성하며, 이는 기존 모델에 비해 10~15배 향상된 성능이다.
원문 출처
r/LocalLLaMA