분야
모델 API·프레임워크·RAG·평가·배포 인프라
오픈소스 · 무료 플랜 · api 조건으로 보고 있습니다.
VLLM 개발·인프라 · vLLM Project
대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
오픈소스한국어 미지원
LLM 애플리케이션과 에이전트를 구성하는 오픈소스 개발 프레임워크다. 체인, 도구 호출, 메모리, 검색을 표준화된 추상화로 묶는다.
오픈소스한국어 미지원