LLM Evals: Everything You Need to Know
이 문서는 700명 이상의 엔지니어와 PM에게 AI Evals를 가르치면서 받은 일반적인 질문들을 정리한 것이다. LLM Evals는 제품 특정 LLM 평가를 위한 시스템으로, 에러 분석, 도메인 전문가 활용, 데이터 세트 생성 등의 단계로 구성된다. 최소한의 평가 설정은 인프라가 아닌 에러 분석에서 시작해야 하며, 도메인 전문가를 품질 결정자로 활용해야 한다. 개발 예산에서 평가에 할당할 비율은 에러 분석과 평가가 개발 과정의 일부로 간주되어야 한다는 점을 강조한다.
원문 출처
Hamel Husain's Blog
Jeff Bezos와 Vik Bajaj가 공동 설립한 Prometheus가 6월 11일 시리즈B 120억 달러 조달과 410억 달러 기업가치를 공개했다. 투자자에는 JPMorgan Chase, Goldman Sachs, BlackRock과 Bezos 본인이 포함됐다. 2025년 말 출범 시 62억 달러를 먼저 조달해 누적 180억 달러를 넘겼고, 단숨에 세계 최고가치 비상장 AI 스타트업 중 하나가 됐다. 챗봇·텍스트 생성에 몰린 경쟁사들과 달리 Prometheus는 제트 엔진부터 신약 화합물까지 복잡한 물리 시스템의 설계와 제조를 자동화하는 '인공 일반 엔지니어(artificial general engineer)' 소프트웨어를 목표로 한다. Bezos는 '비밀주의가 아니다'라며 엔지니어링·제조 영역을 정조준한다고 밝혔다.
LLM 챗봇 자본이 포화에 다가가는 가운데, 자본이 'physical AI'(설계·제조·재료·로보틱스)로 무게중심을 옮기고 있음을 보여주는 대형 신호다. 자연어가 아니라 시뮬레이션·CAD·물성 데이터를 1차 모달리티로 삼는 모델은 학습 데이터와 검증 루프가 근본적으로 다르다. 제조 강국인 한국 입장에서 도메인 데이터(공정·재료·품질)를 쥔 쪽이 다음 AI 해자를 가질 수 있다는 전략적 함의가 크다.
OpenAI가 6월 9일 ChatGPT Go·Free에 개인화 개선을 배포하며 GPT-5.5 Instant을 새 기본 모델로 전환했다. 응답이 더 명확·간결해지고 공유 컨텍스트 활용이 강화됐다. 모델 선택기도 단순화돼 Instant / Medium / High / Pro 전용 티어로 정리되며 웹·iOS·안드로이드의 Plus·Pro 사용자에게 롤아웃됐다. 본체 GPT-5.5는 4월 23일 출시된 OpenAI의 '가장 강력한 에이전틱 코딩 모델'로, 1M 컨텍스트(입력 ~922K + 출력 128K), reasoning effort 레벨 none/low/medium(기본)/high/xhigh를 지원한다. 벤치마크 도약이 크다 — 1M 장문맥 추론이 GPT-5.4의 36.6%에서 74.0%로, Terminal-Bench 2.0은 82.7%를 기록했다. 가격은 표준 입력 $5·출력 $30/MTok로 GPT-5.4($2.50/$15) 대비 약 2배, GPT-5.5 Pro는 $30/$180이다. 6주 만에 가격을 두 배로 올린 셈이라 비용 민감 워크로드에서는 effort 레벨 하향과 모델 분기 전략이 필요하다.
OpenAI의 'effort 레벨'(none~xhigh)은 Anthropic의 effort/adaptive thinking과 같은 방향으로 수렴한 추론-비용 노브다. 두 진영 모두 '얼마나 생각할지'를 호출자가 티어로 제어하는 구조로 표준화되고 있다. 6주 만의 2배 가격 인상은 프론티어 추론 모델의 비용 곡선이 가팔라지고 있음을 보여주며, 한국 팀은 단순 작업은 저-effort/저가 모델, 어려운 에이전틱 작업만 고가 모델로 라우팅하는 분기를 코드에 내장해야 한다.
웹의 1차 인터페이스가 검색창에서 'AI 에이전트 브라우저'로 옮겨가는 흐름이 2026년 상반기 가장 뜨거운 제품 전장이 됐다. OpenAI의 Chromium 기반 ChatGPT Atlas는 2025년 10월 macOS로 출시됐고, 2026년 3월 OpenAI는 Atlas를 ChatGPT·Codex와 합쳐 단일 데스크톱 슈퍼앱으로 통합하겠다고 발표하면서 Windows 단독 출시 시점은 불투명해졌다. Atlas의 에이전트 모드는 Plus($20)·Pro($200) 유료 구간에서 열린다. Perplexity Comet은 정반대 전략을 택했다. 2025년 7월 리서치 중심으로 출발해 한때 월 $200 독점이었으나 10월 전면 무료로 전환했고, 이후 iOS까지 포함해 전 플랫폼에 무료로 풀었다. Comet은 여러 사이트를 가로질러 멀티스텝 작업을 자율 수행한다. 결정적 사건은 2026년 1월 Amazon이 Comet의 자동 쇼핑 기능을 문제 삼아 제기한 소송 — 에이전트 브라우저 기술에 대한 첫 법적 분쟁으로, '봇이 사용자 대신 사이트를 조작'하는 행위의 합법성 경계를 가른다.
에이전트 브라우저는 '사용자 자동화 vs 사이트 약관'이라는 법적 회색지대를 정면으로 건드린다. Amazon 소송 결과는 자동 결제·예약·스크래핑을 끼운 모든 에이전트 제품의 설계 제약이 될 수 있어, 한국에서 에이전트 기능을 붙이는 빌더는 대상 사이트 ToS와 봇 차단을 처음부터 리스크로 다뤄야 한다. 또한 무료(Comet)와 슈퍼앱 번들(Atlas)이라는 정반대 과금 전략의 충돌은, 단품 SaaS의 가치가 빠르게 번들에 흡수되는 시대를 예고한다.
2026년 1분기 글로벌 스타트업 투자가 약 3,000억 달러로 분기 사상 최대를 기록했고, 그중 1,880억 달러 이상이 AI 기업에 몰렸다. 핵심은 자본의 집중이다. 전 세계 VC의 약 3분의 2가 OpenAI·Anthropic·xAI·Waymo 단 네 곳으로 흘러갔다. OpenAI는 단일 라운드로 1,220억 달러를 모았는데, 1차 1,100억 달러는 Amazon($50B)·Nvidia($30B)·SoftBank($30B)가 주도했고, 처음으로 은행 채널을 통해 개인 투자자에게도 문을 열어 30억 달러 이상을 끌어모았다. Anthropic은 5월 시리즈 H로 650억 달러를 조달하며 포스트머니 9,650억 달러 — 세계에서 가장 비싼 비상장 AI 기업이 됐다(OpenAI 추정치 8,520억 달러 추월). 인수 측면에서도 OpenAI는 Hiro Finance 인수로 2026년에만 7건째 M&A를 기록, 작년 한 해(8건)에 육박했다. 한편 Shield AI($1.5B 시리즈 G·밸류 $12.7B), 스텔스에서 나온 Recursive Superintelligence($650M+ 시리즈 A·밸류 $4.65B, NVIDIA·AMD Ventures 참여) 등 인프라·로보틱스·초지능 베팅도 두드러졌다.
자본이 소수 파운데이션 모델 기업에 극단적으로 쏠리면서, 한국 빌더에게 '모델을 직접 만든다'는 선택지는 사실상 닫혔다. 승부처는 모델 위의 애플리케이션·도메인 특화 레이어이며, 토큰 비용이 곧 원가인 구조에서 cost-guard와 티어드 모델 전략(단순=저가·복잡=고가)이 생존 변수가 된다. OpenAI의 개인 투자자 개방은 AI 거품 논쟁을 리테일까지 확산시킨 신호로, 자금 환경이 꺾일 때 누가 먼저 흔들릴지 주시할 필요가 있다.
이 브리핑에서 궁금한 점이 있다면 먼저 질문을 남겨보세요.
첫 댓글을 남겨보세요.
매일 쏟아지는 소식 중 꼭 봐야 할 것만 골라 실무 가이드와 함께 보냅니다.
핵심 뉴스 5 · 추천 가이드 3 · 인기 Q&A