vLLM
vLLM Project · LLM 개발·인프라
대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
오픈소스한국어 미지원
분야
모델 API·프레임워크·RAG·평가·배포 인프라
2개 서비스필터 초기화
오픈소스 조건으로 보고 있습니다.
vLLM Project · LLM 개발·인프라
대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
LangChain · LLM 개발·인프라
LLM 애플리케이션과 에이전트를 구성하는 오픈소스 개발 프레임워크다. 체인, 도구 호출, 메모리, 검색을 표준화된 추상화로 묶는다.
라벨은 품질 보증이 아닙니다. 내부 지표는 모두 “AIPida에서” 측정한 값만 말합니다.