본문으로 건너뛰기

분산 환경에서 생성형 AI 모델을 저지연으로 서빙하는 NVIDIA의 오픈소스 추론 프레임워크