Category
AI 개발
AI 개발은 LLM을 실제 제품에 붙이는 엔지니어링 전반을 다룬다. 프롬프트 설계, 도구 호출, RAG, 평가, 비용·지연 관리까지 포함한다. 모델 호출 한 줄은 쉽지만, 환각 제어와 출력 신뢰성·재현성을 확보하는 데서 진짜 난이도가 나온다.
클코나잇 2 웨비나에서 하네스 엔지니어링 구축 사례 공유
요즘IT는 5월 27일과 6월 10일에 클코나잇 2 웨비나를 개최하고, 개발자와 비개발자가 클로드 코드(Claude Code)를 활용한 경험을 공유했다. 바이버스 AI의 김영채는 하네스 엔지니어링 도입 배경과 마에스트로 데브(Maestro Dev)라는 스킬을 통해 코드 관리와 개발 속도를 개선한 사례를 설명했다. 지난 8개월 동안 4명의 개발자가 170만 줄의 코드를 작업하며 발생한 문제를 해결하기 위해 하네스 엔지니어링을 도입했다고 밝혔다.
AI 해커톤에서 재무 업무 문제 해결을 위한 접근 방식
네이버의 ‘모두의 Engineering Day AI 해커톤’에서 참가자들은 실제 업무 문제를 해결하기 위해 팀을 구성하고, AI를 활용하여 재무 업무를 자동화하는 프로젝트를 진행했다. 팀은 수기 Microsoft Excel 기반의 출자 현황 관리를 LLM·MCP 기반의 투자 포트폴리오 관리 플랫폼으로 전환하는 과제를 선택했다. 이 과정에서 AI의 역할을 단순한 도구가 아닌 문제 정의, 설계, 검증의 파트너로 설정하고, 현재 값이 아닌 거래 이력을 중심으로 시스템을 설계했다.
NVIDIA DeepStream 9.1을 활용한 다중 카메라 3D 추적 애플리케이션 구축
대규모 공간에서 비디오 분석 애플리케이션을 개발하는 개발자는 카메라 뷰 간에 이동하는 동일한 객체를 추적해야 한다. 단일 카메라 2D 추적은 신뢰할 수 있는 깊이 정보를 제공하지 않으며, 객체가 프레임을 벗어날 때 추적을 잃는 경우가 많아 창고 안전, 소매 분석, 스마트 빌딩 모니터링과 같은 애플리케이션의 한계를 초래한다. 현재의 3D 추적 방법은 수동 작업을 요구한다.
NVIDIA T4에서 A100 대비 170배 느린 PyTorch 모델 실행
NVIDIA A100에서 포인트 추적 모델이 반 비디오당 약 0.5초 소요되는 반면, T4에서는 같은 호출이 약 85초 소요되어 170배 느려진다. 비디오는 256×256 해상도의 47프레임으로, 배치는 1이다. 현재 GPU는 99% 활용 중이며, 모델은 GPU에서 실행되고 있다. torch.backends.cudnn.benchmark를 활성화해도 효과가 없고, 두 개의 독립적인 T4 머신에서 동일한 느린 성능이 나타났다.
2026년 AI 엔지니어링의 주요 트렌드
2023년 6월 swyx가 'AI 엔지니어'라는 용어를 만든 이후 AI 엔지니어링은 크게 발전했다. 2026년 AI 엔지니어 월드 페어에서는 AI 시스템 주변의 엔지니어링이 중요해졌으며, 자동화된 에이전트보다 시스템 설계가 강조되었다. 특히, OpenAI의 Codex와 같은 도구를 활용하여 AI 엔지니어와 에이전트 간의 협업이 용이해졌고, '루프' 개념이 AI 엔지니어링의 새로운 제어 계층으로 부각되었다.
NVIDIA Isaac ROS로 로봇 개발 가속화하는 Jaiveer Singh
Jaiveer Singh은 NVIDIA Isaac ROS(로봇 운영 체제) 팀을 이끄는 로봇 소프트웨어 엔지니어로, 오픈 소스 ROS 2 프레임워크를 기반으로 CUDA 가속 라이브러리와 AI 모델을 제공하여 자율 이동 로봇, 조작 시스템 및 휴머노이드 개발을 지원한다. Isaac ROS는 인식, 객체 탐지, 매핑, 충돌 탐지 및 모션 계획을 위한 패키지를 제공하며, NVIDIA Jetson 엣지 시스템과 NVIDIA DGX Spark 개인 AI 슈퍼컴퓨터에서 실행할 수 있다. 이 소프트웨어는 모듈화되어 있어 개발자들이 기존 ROS 코드와 쉽게 결합할 수 있도록 설계되었다.
State of AI 2026: TypeScript 사용률 증가 및 AI 생성 코드 비중 급증
Devographics의 연례 AI 개발자 설문 결과에 따르면, TypeScript가 처음으로 JavaScript 사용률을 초과했으며, 개발자가 작성하는 코드 중 AI 생성 비중이 평균 54%로 증가했다. Claude Code는 유료 전환율과 만족도에서 1위를 기록했고, 코딩 에이전트 사용률은 GitHub Copilot이 67.9%, Claude Code가 62.9%로 나타났다. AI 도입에 대한 기대와 함께 'AI 의존으로 인한 개발자 역량 저하' 우려가 68%에 달했다.
AI Engineer World’s Fair에서의 루프 논쟁과 소프트웨어 공장 모델
AI Engineer World’s Fair의 마지막 날, 루프에 대한 논쟁이 진행되었다. Geoffrey Huntley와 Ian Livingstone은 루프가 이미 존재하며 소프트웨어 개발의 핵심 요소라고 주장했다. 반면, Dex Horthy와 Greg Pstrucha는 루프의 과대광고와 경제적 지속 가능성에 의문을 제기했다. Anthropic의 Mike Krieger는 Claude Tag를 소개하며, 팀의 작업 방식이 더 위임적이고 비동기적이며 능동적으로 변화하고 있다고 설명했다.
Antidote: 창의성을 회복하는 방법
개발자들은 효율성보다 창의적인 과정이 중요하다는 점을 인식해야 하며, 손으로 직접 코드를 작성하고, 프로그래밍 서적을 읽고, 비공식적인 방법으로 문제를 해결하는 것이 필요하다. 또한, Discord와 같은 커뮤니티에 참여하고, 블로그를 작성하거나 동료를 멘토링하는 등의 활동을 통해 창의성을 자극할 수 있다. 특히, 트랜스포머 모델의 내부 구조를 분석하고 설명하는 과정은 이해도를 높이는 데 도움이 된다.
GPU 인프라 작업 문서화 시작
GPU 인프라, LLMs, CV에 대한 작업을 문서화하는 시리즈를 시작한다. 첫 번째 글에서는 GPU가 산업의 중심인 이유, CPU와 GPU의 차이, 문제 발생 시 확인해야 할 첫 번째 장소인 `nvidia-smi`에 대해 간략히 설명한다. 이후에는 Ampere, Hopper, Blackwell 간의 경험적 아키텍처 차이, 커스텀 커널에서의 레지스터 압력 처리, 비동기 메모리 패러다임(TMA/wgmma)에 대해 다룰 예정이다.
Foundry Local 1.2.0 출시: 다국어 음성 인식 및 ARM64 지원 추가
Microsoft는 Foundry Local 1.2.0을 발표하며, 실시간 음성 텍스트 변환 API에 40개 이상의 언어를 지원하는 다국어 기능을 추가했다. 또한, ARM 기반 리눅스 시스템에서 Foundry Local을 실행할 수 있도록 지원하며, 모델 다운로드 속도를 개선하고, 모든 SDK에서 다운로드 취소 기능을 제공한다.
Qdrant 컨테이너가 새벽에 OOM Killed로 죽은 원인과 양자화로 메모리 1/4 줄인 기록
4GB 인스턴스에 8GB 벡터를 욱여넣어 OOM Killed. dmesg 추적, int8 양자화로 메모리 1/4, 재색인 분리까지
한국어 RAG에서 임베딩 모델 4개를 갈아끼웠지만 정답은 청킹에 있었다
text-embedding-3-small/large, bge-m3, KURE-v1을 다 돌려도 안 벌어지던 마진이, 헤딩 단위 청킹과 섹션 제목 prepend로 0.41 vs 0.39에서 0.52 vs 0.34로 벌어졌다
MCP 2026 로드맵, 원격 서버·에이전트 통신·엔터프라이즈로 무게중심 이동
Model Context Protocol(MCP) 메인테이너가 2026년 로드맵을 공개했다. 네 가지 우선순위는 (1) 전송 계층 확장성 — 원격 HTTP 전송을 개선해 수평 확장을 가능케 하고 .well-known 메타데이터로 서버 역량을 탐색, (2) 에이전트 통신 — 장시간 작업을 다루는 Tasks 프리미티브에 재시도·만료 정책을 추가, (3) 거버넌스 성숙 — Working Group 중심으로 SEP(스펙 개선 제안) 검토를 위임, (4) 엔터프라이즈 준비 — 감사 로그·SSO 인증·게이트웨이·설정 이식성이다. 핵심은 로컬 stdio 중심에서 평범한 HTTP 인프라 위에서 스케일하는 상태 비저장(stateless) 원격 서버로 무게중심이 옮겨간다는 점이다. 한국 개발자라면 사내 MCP 서버를 round-robin 로드밸런서 뒤에 둘 수 있는지, Tasks 확장으로 장시간 잡을 어떻게 모델링할지 미리 검토할 가치가 있다.
컨텍스트 로트(Context Rot): 긴 컨텍스트는 '더 넣으면 더 좋다'가 아니다
Chroma 연구진(2025-07)이 18개 모델(Claude/GPT/Gemini/Qwen)을 측정해 보인 핵심은, LLM이 컨텍스트를 균일하게 처리한다는 통념이 틀렸다는 것이다. 입력 길이가 늘면 단순 과제에서도 성능이 의미 있게 떨어진다(컨텍스트 로트). 발견: ①질문-정답의 의미 유사도가 낮을수록 길이가 길어질 때 더 빨리 무너진다 ②distractor(방해 문장)는 하나만 있어도 성능을 깎고, 4개면 가중된다(이때 Claude가 환각률 최저, GPT가 최고) ③반직관적으로 구조가 잘 잡힌 haystack보다 섞인(shuffled) haystack에서 더 잘 찾는다 — 구조적 패턴이 어텐션을 교란한다는 뜻. 원인 중 하나로 대부분 모델이 쓰는 RoPE 위치 인코딩의 감쇠 효과가 지목된다. 그래서 부상한 분야가 '컨텍스트 엔지니어링': 전부 욱여넣지 말고 매 스텝 필요한 정보만 동적으로 조립하는 설계다. 대표 기법이 컨텍스트 컴팩션(한도 근처에서 내용을 요약→새 윈도우 재시작)과 검색 기반 선별 주입이며, 엔터프라이즈 AI의 70% 이상이 장기 세션 에이전트라는 점에서 필수가 됐다.
RAG 평가의 3분할: RAGAS는 탐색, DeepEval은 CI/CD 게이트, TruLens는 대시보드
RAG를 운영에 올리려면 '체감'이 아니라 측정이 필요하고, 2026년 오픈소스 평가 3종의 역할 분담이 정리됐다. RAGAS는 reference-free(정답셋 없이 LLM-as-judge) 평가를 개척한 사실상의 산업 표준으로, 월 40만 다운로드·누적 2천만 회 평가가 돌고 있다. 핵심 4지표는 context precision/recall(검색 단계)과 faithfulness/answer relevancy(생성 단계)로, 검색 실패와 생성 실패를 분리해 진단한다. faithfulness는 출력이 검색된 컨텍스트를 벗어나거나 모순되는 경우 — 즉 추론 계층에서의 환각 — 를 잡아내며, faithfulness·context precision이 0.8을 넘으면 프로덕션 수준으로 본다. 실무 권고는 명확하다: 지표 탐색·분석은 RAGAS, CI/CD에서 회귀를 막는 자동 게이트는 DeepEval, 실험 추적 대시보드는 TruLens. 한 도구로 다 하려 하지 말고 단계별로 쓰라는 것이다.
vLLM vs SGLang, 그리고 prefill/decode 분리: LLM 서빙의 표준 아키텍처가 바뀐다
대규모 LLM 추론에서 prefill(입력 프롬프트 전체 처리)과 decode(토큰 1개씩 생성)를 같은 인스턴스에 두지 않고 물리적으로 분리하는 'disaggregated serving'이 2026년 사실상 표준 패턴으로 올라섰다. 이유는 두 단계의 병목이 다르기 때문이다. prefill은 compute-bound라 큰 배치로 묶을수록 유리하고, decode는 memory-bandwidth-bound이면서 지연에 민감하다. 한 인스턴스에 섞으면 서로의 SLA를 깎아먹는다. vLLM은 prefill·decode를 각각 별도 인스턴스로 띄우고 --kv-transfer-config로 KV 캐시 전송 커넥터(NIXL, LMCache, 공유메모리)를 지정한다. SGLang은 라우터의 --disaggregation-mode로 prefill 워커·decode 워커·라우터를 구성하고 Mooncake/NIXL 백엔드를 지원하며, GB200 NVL72 클러스터에서 디코딩 처리량 2.7배를 보고했다. Meta·LinkedIn·Mistral·HuggingFace가 이미 vLLM 기반 분리 서빙을 프로덕션에서 돌리고 있고, LMSYS는 H100 96장(prefill 3노드+decode 9노드)으로 DeepSeek-R1 분리 서빙을 시연했다.
벡터DB 경제학 재편: 오브젝트 스토리지 검색(Turbopuffer)과 OCR 없는 ColPali
2026 벡터 검색은 '비용'과 '멀티모달' 두 축에서 흔들린다. 비용 축: 대량 코퍼스에서 메모리 상주형 전용 벡터DB는 비싸다. Turbopuffer는 벡터를 S3/GCS 오브젝트 스토리지(약 $0.02/GB)에 두고 자주 쓰는 데이터만 SSD($0.1/GB)로 캐싱해, 대형 문서 아카이브에서 압도적으로 싸지만 콜드 쿼리 지연(300~800ms)을 감수한다. 반대로 이미 Postgres를 쓰고 1천만~1억 벡터 미만이면 pgvector(+pgvectorscale)가 8~25ms p95에 월 $30 수준으로 가성비 1위, Qdrant는 하이브리드 검색·필터링(15~40ms), Pinecone은 가장 쉬운 매니지드지만 같은 규모에서 월 ~$180로 비싸다. 멀티모달 축: ColBERT 계열의 late interaction(쿼리 토큰×문서 패치를 MaxSim으로 매칭)을 비전 모델로 확장한 ColPali/ColQwen이 부상했다. PDF 페이지를 이미지(시각 패치 임베딩 그리드)로 바로 인코딩해 OCR을 통째로 건너뛰고, 표·차트·다이어그램·레이아웃을 보존한다 — OCR 파이프라인이 깨먹던 정보다.
RAG 임베딩·리랭커 지형 2026: 'embedding 교체'보다 '리랭커 추가'가 답일 때
2026 상반기 RAG 검색 품질의 정석 조합이 굳어졌다. 임베딩은 최고 품질 API로 Voyage voyage-3-large, 범용으로 OpenAI text-embedding-3-large, 멀티미디어(텍스트+이미지 단일 임베딩)로 Cohere embed-v4, 다국어/교차언어로 Gemini Embedding 2가 꼽힌다. 셀프호스팅은 BGE-M3가 dense+BM25+리랭커 세 모델을 하나로 대체하는 하이브리드 모드로 현실적 1순위이고, Apache-2.0로 풀린 Qwen3-Embedding 시리즈(0.6B/4B/8B)는 8B가 MTEB 다국어 리더보드 1위(70.58, 2025-06 기준)에 100개 이상 언어를 지원해 오픈소스 진영을 끌어올렸다. 핵심 실무 원칙: 'top-50 안에는 정답 문서가 있는데 top-5에는 없다'면 더 좋은 임베딩으로 갈아타는 것보다 리랭커 추가가 더 큰 이득을 준다. 리랭커는 프로토타입엔 CPU에서 도는 무료 ms-marco-MiniLM-L-6-v2, 운영엔 Cohere rerank-v3나 BGE 리랭커를 붙이는 식으로 비용·지연·언어지원을 저울질한다.
LLM-as-judge로 자동 채점하다 만난 함정 3개와 pairwise·rubric으로 우회한 방법
단일점수 후함·position bias·길고 그럴듯한 답 편애 세 함정을 pairwise와 yes/no rubric으로 우회한 기록
RAG에 cross-encoder 리랭커를 붙인 전후를 한국어 문서로 직접 측정했다
top-30 retrieval 후 리랭크로 정답 포함률 79→101(120건)·지연 800ms→1.4초, 한국어는 m3 vs Cohere를 직접 A/B 해야 한다
추론 엔진 vLLM·SGLang·TensorRT-LLM, 무엇을 언제 쓸까
자체 모델을 서빙할 때 어떤 추론 엔진을 고르느냐가 비용·지연·처리량을 모델 아키텍처보다 더 크게 좌우한다. vLLM은 빠른 기동과 폭넓은 모델 호환성이 강점이라 합리적인 기본값이다. SGLang은 RadixAttention(접두사 공유 KV 캐시 재사용), 커널 퓨전, 구조적 생성에 강해 공통 시스템 프롬프트나 RAG 접두사를 공유하는 워크로드, 구조화 출력에서 큰 이득을 낸다. TensorRT-LLM은 NVIDIA GPU에 깊게 최적화돼 최대 처리량을 노리지만 빌드·운영 복잡도가 높다. 실무 원칙은 단순하다 — 워크로드가 긴 공유 접두사를 자주 쓰면 SGLang을, 다양한 모델을 빠르게 띄워야 하면 vLLM을, 고정 모델로 극한 처리량이 필요하면 TensorRT-LLM을 검토한다. 어떤 경우든 자사 트래픽 패턴(입력/출력 길이 분포, 동시성)으로 직접 벤치마크해야 한다.
Claude API 프롬프트 캐싱 워크스페이스 격리 전환, 반복 컨텍스트 비용 최대 90% 절감
Anthropic의 Claude API 프롬프트 캐싱이 2026년 2월부터 조직 단위가 아닌 워크스페이스 단위 격리로 바뀌었다. 같은 조직 안에서도 워크스페이스 간 캐시가 분리돼 데이터 경계가 명확해진다. 캐시 읽기 비용은 표준 입력가의 10% 수준이라 동일 컨텍스트를 반복 주입할 때 최대 90%를 아낄 수 있고, 기본 5분 TTL 외에 추가 비용으로 1시간 캐시도 선택할 수 있다. 긴 시스템 프롬프트, 도구 정의, RAG로 끌어온 문서 블록처럼 매 호출 동일하게 들어가는 앞부분에 cache breakpoint를 두는 것이 핵심 패턴이다. 여기에 Batch API(입·출력 50% 할인), 모델 라우팅, 컨텍스트 편집(오래된 도구 결과·thinking 블록 정리)을 결합하면 에이전트 워크로드의 토큰 비용 구조를 크게 바꿀 수 있다. 한국 팀이 다회전 대화형 서비스를 운영한다면 캐시 적중률을 KPI로 잡을 만하다.
구조화 출력과 함수 호출, 스키마 강제가 필요한 순간 구분하기
LLM 출력을 안정적으로 다루려면 구조화 출력(Structured Outputs)과 함수 호출(Function Calling)의 차이를 이해해야 한다. JSON 모드는 '유효한 JSON'만 보장하지만, 구조화 출력은 strict: true로 제공한 JSON 스키마를 모델이 반드시 따르도록 제약한다 — 즉 형식뿐 아니라 필드·타입 준수까지 보장된다. 함수 호출은 모델이 어떤 도구를 어떤 인자로 부를지 결정하게 하는 메커니즘이며, 여기에도 스키마 강제를 결합할 수 있다. 실무 구분은 이렇다 — 외부 행동(도구 실행)을 트리거하려면 함수 호출을, 단지 응답을 타입 안전한 JSON으로 받아 후속 코드에 넘기려면 구조화 출력을 쓴다. 둘은 배타적이지 않고 함께 쓰인다. 참고로 OpenAI의 구형 Assistants API는 2026년 8월 26일 종료 예정이므로 신규 설계는 최신 권장 경로(Responses/Agents 계열)를 따르는 것이 안전하다. 한국 팀이 안정적 파이프라인을 만들 때 파싱 실패·재시도 비용을 크게 줄여 준다.