Lean-QwenFlash, 16GB VRAM과 8GB RAM 환경에서 NVMe SSD 오프로딩으로 Qwen3.8-Flash-Next 125B를 약 20 tok/s로 구동

Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading

Reddit r/LocalLLaMA에 공유된 Lean-QwenFlash는 Qwen3.8-Flash-Next(125B) 모델을 RTX 4090(VRAM 16GB, 시스템 RAM 8GB 할당) 환경에서 약 20 tok/s의 디코드 속도로 실행한다고 밝혔다. 기존 구성이 24k 전문가(experts)를 시스템 RAM(약 48~64GB)에 고정하던 것과 달리 NVMe SSD에서 직접 오프로딩하는 방식이다. 기사에 따르면 이 방식은 sybil-solutions의 GLM 오프로드 구현을 기반으로 Qwen3.8 Flash Next 모델에 맞게 적용한 것이다. 캐시 미스(cache miss)를 CPU에서 계산하던 기존 방식과 달리 전문가 가중치를 SSD에서 직접 불러온다. 측정 조건은 3.05bpw_h5_ng5 양자화와 Q4 KV 캐시이며, RTX 4090 기준 8k 컨텍스트에서 산문 생성 28~33 tok/s, 코드 생성 19~22 tok/s, 프리필 약 1,080 tok/s를 기록했다. 100k 컨텍스트에서는 디코드 20.8 tok/s, 프리필 약 1,536 tok/s이고, 전체 윈도우인 262k 컨텍스트에서는 디코드 20.0 tok/s, 프리필 약 1,627 tok/s였다. RTX 3080 Laptop(VRAM 16GB, RAM 32GB)에서는 100k 컨텍스트 기준 디코드 약 18~21 tok/s, 프리필 약 650~700 tok/s, 최대 VRAM 사용량 15.5GB로 보고됐다. 설치 방법, 모델 다운로더, 패킹 스크립트는 GitHub 저장소 MaxDevv/lean-qwenflash에 공개되어 있다. 기사는 기존 방식이 고사양 워크스테이션에서는 잘 동작하지만 RAM이 제한된 일반 PC나 노트북에서는 쓰기 어렵다는 점을 문제로 제시한다. 작성자는 이 구성이 Qwen3.8 Flash Next 모델의 경량성에 기대고 있어 다른 모델에 그대로 적용된다고 주장하지는 않았다.