추론·모델 배포

Inferact

추론·모델 배포

vLLM 개발진이 만든 기업용 추론 플랫폼과 관리형 추론 클라우드

Jan

추론·모델 배포

오픈 모델을 PC에서 오프라인으로 실행하는 오픈소스 데스크톱 앱

Lambda

추론·모델 배포

온디맨드 GPU 인스턴스와 대규모 GPU 클러스터를 제공하는 AI 클라우드

온디맨드 GPU로 모델을 개발·학습·배포하는 AI 클라우드 플랫폼

llama.cpp

추론·모델 배포

CPU·GPU에서 LLM을 로컬로 실행하는 오픈소스 C/C++ 추론 엔진

LM Studio

추론·모델 배포

PC에서 오픈 LLM을 내려받아 실행하고 로컬 서버로 제공하는 데스크톱 앱

LocalAI

추론·모델 배포

LLM·이미지·음성 모델을 GPU 없이도 내 서버에서 OpenAI 호환 API로 실행하는 오픈소스 엔진

Modal

추론·모델 배포

AI 모델 학습·서빙을 코드만으로 실행하는 서버리스 GPU 클라우드

Modular

추론·모델 배포

MAX 서빙 프레임워크와 Mojo 언어 기반의 통합 AI 추론 플랫폼

Msty

추론·모델 배포

로컬·클라우드 모델을 한 화면에서 쓰고 비교하는 프라이빗 AI 데스크톱 앱

Nebius Token Factory

추론·모델 배포

오픈 모델을 OpenAI 호환 API로 호스팅·서빙하는 Nebius 추론 플랫폼

NetsPresso

추론·모델 배포

AI 모델을 경량화해 대상 기기에 맞춰 배포하는 모델 최적화 플랫폼

Novita AI

추론·모델 배포

모델 API·에이전트 샌드박스·GPU 인스턴스를 제공하는 AI 클라우드

분산 환경에서 생성형 AI 모델을 저지연으로 서빙하는 NVIDIA의 오픈소스 추론 프레임워크

NVIDIA GPU에 AI 모델을 배포하는 최적화 추론 마이크로서비스

Open WebUI

추론·모델 배포

Ollama 등 로컬·원격 모델을 연결해 쓰는 셀프호스팅 AI 채팅 플랫폼

Parasail

추론·모델 배포

오픈 모델을 토큰 단위 요금으로 서빙하는 AI 스타트업용 추론 클라우드

RadixArk

추론·모델 배포

SGLang 개발진이 만든 대규모 추론·학습·강화학습 인프라 플랫폼

Replicate

추론·모델 배포

오픈소스 모델을 API 한 줄로 실행·배포하는 모델 호스팅 플랫폼

Runpod

추론·모델 배포

서버리스 GPU 엔드포인트와 GPU 인스턴스로 AI 모델을 배포하는 클라우드

SambaCloud

추론·모델 배포

SambaNova 칩 기반으로 오픈 모델을 고속 추론하는 OpenAI 호환 클라우드

대규모 언어·멀티모달 모델을 고속 서빙하는 오픈소스 추론 프레임워크

오픈 LLM·멀티모달 모델의 서버리스 추론 API와 전용 엔드포인트를 제공하는 AI 인프라 플랫폼

TensorRT-LLM

추론·모델 배포

NVIDIA GPU에서 LLM 추론을 최적화해 실행하는 NVIDIA의 오픈소스 라이브러리