대규모 언어모델을 빠르고 효율적으로 서빙하는 오픈소스 추론 엔진이다. PagedAttention으로 처리량과 메모리 효율을 크게 높인다.
정보 오늘 확인
개요
vLLM은 LLM을 고처리량·저지연으로 서빙하기 위한 오픈소스 추론 엔진이다. UC 버클리에서 시작됐으며, 핵심 혁신인 PagedAttention으로 KV 캐시 메모리를 페이지 단위로 관리해 메모리 낭비를 줄이고 동시 요청 처리량을 크게 끌어올린다. 자체 인프라에서 오픈 웨이트 모델을 효율적으로 운영하려는 팀의 사실상 표준 중 하나다.
핵심 기능은 연속 배칭(continuous batching), PagedAttention, 텐서·파이프라인 병렬, 양자화(AWQ·GPTQ·FP8 등), 스트리밍, 그리고 OpenAI 호환 API 서버다. Hugging Face의 다양한 모델 아키텍처를 폭넓게 지원해 모델을 거의 그대로 올려 서빙할 수 있다.
대상은 LLM을 셀프호스팅으로 운영하는 ML 플랫폼·인프라 엔지니어, 비용·데이터 주권·지연을 직접 통제하려는 조직이다. 소프트웨어 자체는 무료 오픈소스이며 비용은 GPU 인프라에서 발생한다.
강점은 동급 최고 수준의 처리량·메모리 효율, OpenAI 호환으로 인한 손쉬운 마이그레이션, 활발한 커뮤니티와 빠른 신모델 지원이다. 한계는 GPU·운영 전문성이 필요하고, 멀티노드 대규모 분산이나 특정 하드웨어·신규 아키텍처에서 튜닝이 까다로울 수 있으며, 매니지드 API의 운영 편의성은 직접 구축으로 떠안아야 한다는 점이다.
- 플랫폼
- LinuxCLIAPI
용도
업무별 적합·부적합 정리는 아직 없습니다. 분야와 태그로 짐작할 수 있는 범위만 보여드립니다.
가격·무료 조건
월/연 요금, 무료 범위, 체험 조건. 각 항목에 출처와 확인일을 적습니다.
가격 모델은 오픈소스로 등록돼 있지만, 세부 조건은 아직 확인되지 않았습니다. 공식 가격 페이지에서 확인해 주세요.
한국어
입력·결과물·화면·고객지원으로 나눠 봅니다.
한국어 지원 여부가 아직 확인되지 않았습니다.
데이터·도입
팀 결제·SSO·세금계산서·데이터 처리 안내. 확인되지 않은 항목은 그대로 '확인되지 않음'으로 둡니다.
아직 확인된 정보가 없습니다. 공식 사이트에서 직접 확인해 주세요.
소식
AIPida 뉴스 브리핑에서 이 서비스를 다룬 글과 출시 이력.
아직 이 서비스를 다룬 브리핑이 없습니다.
대안
아직 같은 업무로 묶인 대안이 없습니다. 아래는 같은 분야 중 AIPida에서 많이 본 서비스입니다.
혜택
진행 중인 혜택만 보입니다. 조건과 링크는 누구나, 코드는 로그인 후.
지금 진행 중인 혜택이 없습니다. 저장해 두면 가격·무료 조건 변경을 내 도구에서 알려드립니다.
Q&A
vLLM에 대한 질문이 아직 없어 LLM 개발·인프라 분야 Q&A를 보여드립니다.
프롬프트 조금만 바꿔도 출력 품질이 들쭉날쭉합니다. 평가를 어떻게 자동화하나요?
RAG란 무엇인가
LLM 출력 평가 어떻게 하나
RAG 답변이 검색 청크엔 정답이 있는데 모델이 엉뚱하게 답합니다 (한국어 임베딩)
LLM 출력 JSON이 가끔 ```json 코드펜스 붙어서 json.loads가 터집니다. 안정적으로 구조화 출력 받는 법?