DeepSeek V4 브랜치에 양자화된 KV 캐시 수정 사항 병합
I merged fixes for quantized KV cache into my DeepSeek V4 branch
DeepSeek V4 브랜치에 양자화된 KV 캐시 관련 수정 사항이 병합되었으며, antirez IQ2XXS 모델을 단일 RTX PRO 6000에서 1M 컨텍스트로 실행할 수 있게 되었다. 관련 PR은 #25247, #25303, #25202이며, 특정 패딩 변경 사항은 생략되었다. 성능 벤치마크 결과와 perplexity 값도 제공되었다.
원문 출처
r/LocalLLaMA