vLLM
vLLM Project
vLLM은 LLM을 고처리량·저지연으로 서빙하기 위한 오픈소스 추론 엔진이다. UC 버클리에서 시작됐으며, 핵심 혁신인 PagedAttention으로 KV 캐시 메모리를 페이지 단위로 관리해 메모리 낭비를 줄이고 동시 요청 처리량을 크게 끌어올린다. 자체 인프라에서 오픈 웨이트 모델을 효율적으로 운영하려는 팀의 사실상 표준 중 하나다.
핵심 기능은 연속 배칭(continuous batching), PagedAttention, 텐서·파이프라인 병렬, 양자화(AWQ·GPTQ·FP8 등), 스트리밍, 그리고 OpenAI 호환 API 서버다. Hugging Face의 다양한 모델 아키텍처를 폭넓게 지원해 모델을 거의 그대로 올려 서빙할 수 있다.
대상은 LLM을 셀프호스팅으로 운영하는 ML 플랫폼·인프라 엔지니어, 비용·데이터 주권·지연을 직접 통제하려는 조직이다. 소프트웨어 자체는 무료 오픈소스이며 비용은 GPU 인프라에서 발생한다.
강점은 동급 최고 수준의 처리량·메모리 효율, OpenAI 호환으로 인한 손쉬운 마이그레이션, 활발한 커뮤니티와 빠른 신모델 지원이다. 한계는 GPU·운영 전문성이 필요하고, 멀티노드 대규모 분산이나 특정 하드웨어·신규 아키텍처에서 튜닝이 까다로울 수 있으며, 매니지드 API의 운영 편의성은 직접 구축으로 떠안아야 한다는 점이다.
AI 개발 관련 브리핑
Idle Frontier 게임 개발 경험과 AI 활용
Idle Frontier는 Opus 5(Claude)를 활용하여 개발된 게임으로, 데이터와 컴퓨팅 자원 제약을 다루는 내용을 담고 있다. 게임 개발자는 Godot 3에서 Godot 4로의 마이그레이션과 게임 디자인 패턴을 배우는 데 Claude의 도움을 받았다. Claude는 버그 수정 및 디버깅에서 유용했으며, 게임의 일부 화면은 Claude가 끝까지 구현했다. 그러나 새로운 기능을 구현할 때 기존 기능이 깨지는 등의 문제도 발생했다.
Claude는 Godot 4의 신기능을 배우는 데 도움을 주었으며, 게임 개발 과정에서 효율성을 높일 수 있다.
클코나잇 2 웨비나에서 하네스 엔지니어링 구축 사례 공유
요즘IT는 5월 27일과 6월 10일에 클코나잇 2 웨비나를 개최하고, 개발자와 비개발자가 클로드 코드(Claude Code)를 활용한 경험을 공유했다. 바이버스 AI의 김영채는 하네스 엔지니어링 도입 배경과 마에스트로 데브(Maestro Dev)라는 스킬을 통해 코드 관리와 개발 속도를 개선한 사례를 설명했다. 지난 8개월 동안 4명의 개발자가 170만 줄의 코드를 작업하며 발생한 문제를 해결하기 위해 하네스 엔지니어링을 도입했다고 밝혔다.
마에스트로 데브는 개발자의 암묵지를 형식지화하여 자동화된 개발 프로세스를 통해 코드 관리와 출시 속도를 개선하는 데 기여한다.
AI 해커톤에서 재무 업무 문제 해결을 위한 접근 방식
네이버의 ‘모두의 Engineering Day AI 해커톤’에서 참가자들은 실제 업무 문제를 해결하기 위해 팀을 구성하고, AI를 활용하여 재무 업무를 자동화하는 프로젝트를 진행했다. 팀은 수기 Microsoft Excel 기반의 출자 현황 관리를 LLM·MCP 기반의 투자 포트폴리오 관리 플랫폼으로 전환하는 과제를 선택했다. 이 과정에서 AI의 역할을 단순한 도구가 아닌 문제 정의, 설계, 검증의 파트너로 설정하고, 현재 값이 아닌 거래 이력을 중심으로 시스템을 설계했다.
NVIDIA DeepStream 9.1을 활용한 다중 카메라 3D 추적 애플리케이션 구축
대규모 공간에서 비디오 분석 애플리케이션을 개발하는 개발자는 카메라 뷰 간에 이동하는 동일한 객체를 추적해야 한다. 단일 카메라 2D 추적은 신뢰할 수 있는 깊이 정보를 제공하지 않으며, 객체가 프레임을 벗어날 때 추적을 잃는 경우가 많아 창고 안전, 소매 분석, 스마트 빌딩 모니터링과 같은 애플리케이션의 한계를 초래한다. 현재의 3D 추적 방법은 수동 작업을 요구한다.
NVIDIA DeepStream 9.1을 사용하면 다중 카메라 환경에서 신뢰성 있는 3D 추적을 구현할 수 있다.