1x3090에서 20 DGX Sparks로의 업그레이드 과정
From 1x3090 to 20 DGX Sparks: my house fuses were the first bottleneck
사용자는 처음에 LLaMA 33B를 위해 3090을 구입하였고, 이후 LLaMA 65B와 DeepSeek 671B MoE로 업그레이드하였다. 16x3090을 사용하여 MiniMax M2와 Qwen 235B를 실행하였으나, 전기 회로의 문제로 어려움을 겪었다. 이후 4x ASUS GB10으로 구성하여 397B 모델을 안정적으로 운영하였고, Kimi K3 모델이 출시되면서 두 개의 8x 클러스터를 구축하여 성능을 개선하였다. 현재는 GLM 5.3 Flash 모델을 24/7 운영 중이다.
Kimi K3 모델을 통해 16x 클러스터에서 20 t/s의 성능을 달성하였다.
원문 출처
r/LocalLLaMA