ISTA-DASLab, GSQ-RCO 양자화를 적용한 DeepSeek-V4.1-Flash-1017 GGUF 양자화 모델 공개
ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO
ISTA-DASLab이 자사의 GSQ-RCO 양자화 기법을 적용한 DeepSeek-V4.1-Flash-1017 모델을 공개했으며, 양자화 가중치는 Hugging Face의 GGUF 저장소에서 받을 수 있다. 다만 기사 작성자는 llama.cpp에서 이 아키텍처가 아직 지원되지 않는다고 밝혔다. 모델 카드에는 Strata 지원이 언급되어 있지만, 작성자는 원본 Strata가 Qwen3.8-Flash-Next만 지원하므로 실제로는 Strata 기반 포크인 Xolotl 또는 Maya를 가리킬 것으로 보고 있다. llama.cpp 측에서는 원본 아키텍처 지원 풀 리퀘스트(PR #28696, #30817)가 아직 병합되지 않은 상태다.
llama.cpp 지원 PR(#28696, #30817)이 병합되기 전까지는 GGUF 양자화본을 llama.cpp로 바로 실행할 수 없으므로, 로컬 추론 환경을 구성하기 전에 해당 PR의 진행 상황을 확인해야 한다.
원문 출처
r/LocalLLaMA