vLLM
vLLM Project · LLM 개발·인프라
대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
분야
모델 API·프레임워크·RAG·평가·배포 인프라
9개 서비스필터 초기화
api 조건으로 보고 있습니다.
vLLM Project · LLM 개발·인프라
대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
Ollama · LLM 개발·인프라
로컬 머신에서 오픈 LLM을 손쉽게 내려받아 실행하는 런타임이다. 단일 명령으로 모델을 띄우고 API로 호출할 수 있다.
OpenAI · LLM 개발·인프라
GPT 계열 모델과 추론 모델을 호출하는 API 플랫폼이다. 텍스트, 이미지, 음성, 함수 호출을 단일 인터페이스로 제공한다.
Google · LLM 개발·인프라
Google의 멀티모달 Gemini 모델을 호출하는 API다. 긴 컨텍스트와 이미지, 영상, 오디오 입력을 함께 다룬다.
LangChain · LLM 개발·인프라
LLM 애플리케이션과 에이전트를 구성하는 오픈소스 개발 프레임워크다. 체인, 도구 호출, 메모리, 검색을 표준화된 추상화로 묶는다.
Anthropic · LLM 개발·인프라
Claude 모델 계열을 호출하는 API다. 긴 컨텍스트, 도구 사용, 프롬프트 캐싱을 지원해 에이전트와 분석 작업에 폭넓게 쓰인다.
LlamaIndex · LLM 개발·인프라
데이터 연결과 검색증강생성(RAG)에 특화된 오픈소스 프레임워크다. 문서 인덱싱, 쿼리 엔진, 에이전트 워크플로를 제공한다.
Hugging Face · LLM 개발·인프라
모델, 데이터셋, 추론 엔드포인트를 아우르는 머신러닝 플랫폼이다. 오픈 모델 공유와 배포의 사실상 표준 허브 역할을 한다.
Mistral AI · LLM 개발·인프라
오픈 가중치와 상용 모델을 함께 제공하는 프랑스 AI 기업의 모델 API다. 경량 고효율 모델 라인업으로 잘 알려져 있다.
라벨은 품질 보증이 아닙니다. 내부 지표는 모두 “AIPida에서” 측정한 값만 말합니다.