Deepseek V4 Flash-0731 구성 및 설정
The boring way to run Deepseek V4 Flash-0731 130-150 tks - 16x5060ti 16GB over 2 PLX88096 switches
Deepseek V4 Flash-0731을 위한 검증된 구성은 다음과 같다: ASRock Rack SPC621D8U-2T/OVH 메인보드, Xeon Gold 6330 CPU, 두 개의 Broadcom/PLX PEX88096 스위치에 16개의 RTX 5060 Ti 16GB GPU, Ubuntu 22.04.5 LTS 운영체제, 커널 6.8.0-106-generic, NVIDIA 드라이버 610.43.02-p2p. 각 GPU에 대해 16,384 MiB의 BAR1이 필요하며, UEFI 부팅이 활성화되고 CSM은 비활성화되어야 한다. 추가적으로, 500k 컨텍스트에서 약 4000 pp, tg 100-150의 성능을 제공한다.
16개의 RTX 5060 Ti GPU를 활용한 Deepseek V4의 성능 최적화는 대규모 데이터 처리에 유리하다.
원문 출처
r/LocalLLaMA