vLLM Project

운영 서비스

• V

  vLLM

  vLLM Project · LLM 개발·인프라

  대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.

  오픈소스한국어 미지원

소식

이 회사 서비스의 출시 이력과 AIPida 브리핑 언급을 시간순으로.

아직 소식이 없습니다. 브리핑에서 언급되면 여기에 쌓입니다.