DeepSeek DeepInfer 오픈소스 공개: 155T 토큰/일 프로덕션 추론 스택과 캐시 기반 수익성 주장
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
DeepSeek이 프로덕션 추론 스택 DeepInfer를 오픈소스로 공개했고, 자사 클러스터 기준 하루 155T 토큰 처리와 96% 입력 캐시 적중률 등 운영 수치를 함께 밝혔다. 엔진은 공개됐지만 KV 캐시 관리와 로드 밸런싱 등 핵심 서비스 계층은 아직 빠져 있다. DeepInfer는 vLLM을 기반으로 SGLang과 TRT-LLM의 기법을 더한 추론 엔진으로, 분산 추론, 추측 디코딩, SWA Bounded Replay, NVIDIA 및 Huawei Ascend 플랫폼의 구조화된 출력을 지원한다. 함께 공개된 deepseek-recipe는 공식 API와 호환되는 토큰 인코딩·디코딩 처리를 구현한다. DeepSeek은 보고서에서 최대 72시간 프롬프트 캐싱을 언급했고, 처리량 155T 토큰/일, 입력 캐시 적중률 96%, 평균 첫 토큰 응답 400ms, 생성 속도 230 토큰/초(코딩은 300 토큰/초)를 제시했다. 이 수치들은 DeepSeek 자체 프로덕션 주장이며 독립 검증된 측정치가 아니다. 기사는 이 수치를 바탕으로 오프피크 가격 기준 가속기 시간당 $38 수익과 80% 이상의 추론 마진을 계산했다. vLLM 팀은 자사 벤치마크에서 GB200 기준 디코드 처리량이 DeepInfer 발표치와 6% 이내로 근접한다고 밝혔고, AgentX 결과와 재현 레시피를 공개했다. 이 비교는 DeepSeek의 효율이 기존 오픈소스 엔진으로 접근할 수 없다는 주장을 일부 제한한다. 기사는 이 수익성 수치가 워크로드 구성, 캐시 집계 방식, 하드웨어 비용, 포함된 비용 항목에 따라 달라진다고 지적한다.
DeepInfer는 vLLM 기반이면서 Apache 2.0으로 공개되어 있고, 입력 캐시 적중률 96%와 prefill·decode 분리 구조를 참고할 수 있어 자체 추론 서빙 설계의 비교 기준으로 쓸 만하다.
원문 출처
Latent Space (swyx & Alessio)