3k$ 128GB VRAM 및 256GB RAM DDR4 서버 구성
3k$ 128GB VRAM + 256GB RAM DDR4 Server
사용자는 128GB VRAM과 256GB RAM DDR4를 갖춘 서버를 구성했다. 주요 부품으로는 4xV620(1400$), 256GB DDR4 RDIMM 2666(610$), Huanandzhi D12D(410$), EPYC 7452(170$), PSU ASRock 1600(220$)이 포함되며, SSD는 이미 보유한 Samsung 970EVO 1TB를 사용했다. 전력 소비는 700-900W로, Qwen3.8-next-flash Autoround W4A16을 사용할 때 500-600W로 줄어든다. 이 서버는 128k+ 컨텍스트에서 MTP-2를 사용하여 1.3k prefill과 70tg 코드/60tg 프로즈를 처리할 수 있다.
Qwen3.8-next-flash Autoround W4A16을 사용하여 128k+ 컨텍스트에서 높은 성능을 발휘할 수 있다.
원문 출처
r/LocalLLaMA