Category
AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
Anthropic, Fast 모드 대폭 인하한 Claude Opus 4.8 공개
Anthropic이 2026년 5월 28일 Claude Opus 4.8을 공개했다. API 모델 ID는 claude-opus-4-8이며 기본 단가는 입력 100만 토큰당 $5, 출력 $25로 이전 세대와 동일하게 유지됐다. 주목할 변화는 Fast 모드 단가가 입력 $10·출력 $50로 떨어져 직전 세대 대비 약 3배 저렴해진 점이다. 코딩·에이전트 작업·전문 업무 성능이 강화됐고, 결함을 그냥 지나칠 확률이 약 4분의 1로 줄었다고 한다. Claude Code에는 한 세션에서 수백 개의 서브에이전트를 병렬로 돌리는 동적 워크플로우가 들어갔고, claude.ai와 Cowork에서 사용자가 직접 추론 강도(effort)를 고를 수 있게 됐다. Opus 4.8·4.7과 Sonnet 4.6은 추가 요금 없이 100만 토큰 컨텍스트를 지원한다.
[설명] 정규식 파싱 대신 구조화 출력·함수 호출 제대로 쓰기
LLM 응답을 정규식으로 긁어 JSON을 추려내는 방식은 이제 안티패턴이다. 핵심은 스키마를 한 번 정의하고, 그 JSON 스키마를 모델에 형식 지시로 넘긴 뒤, 응답을 원본 스키마로 다시 검증하는 흐름이다. 제약 디코딩 기반의 네이티브 구조화 출력은 스키마 유효성을 사실상 보장하며, 스키마 없는 JSON 모드는 약 8~15% 비율로 실패한다고 보고된다. 제공사마다 결이 다른데, OpenAI·Gemini는 response_format/스키마 기반 strict 모드를, Claude는 input_schema를 갖춘 도구 정의(tool use)와 tool_choice 패턴을 쓴다. 또한 vLLM·Ollama 등 셀프 호스팅 런타임도 스키마 기반 출력 제어를 노출한다. 스키마 강제는 호출당 토큰이 다소 늘지만 재시도 비용을 없애므로, 복잡한 스키마는 잘게 쪼개 병렬 호출로 처리하는 편이 비용 효율적이다.
[설명] 캐시 프리픽스 설계로 프롬프트 캐싱 입력 비용 90% 줄이기
긴 시스템 프롬프트나 문서를 매 호출 그대로 다시 보내면 입력 토큰 비용이 누적된다. 프롬프트 캐싱은 변하지 않는 앞부분(프리픽스)을 캐시해 캐시된 입력 비용을 약 90%까지 낮춘다. 설계 원칙은 단순하다. 고정적인 부분(시스템 지시, 도구 정의, 참조 문서)을 프롬프트 앞쪽에 모으고, 사용자별로 바뀌는 내용은 뒤로 빼서 캐시 프리픽스를 최대화하는 것이다. Claude의 경우 2026년 2월 5일부터 캐시가 조직이 아닌 워크스페이스 단위로 격리되어 같은 조직 내 워크스페이스 간 데이터가 분리된다. Opus 4.5+·Sonnet 4.6+에서는 이전 thinking 블록이 기본 보존되어 캐시 프리픽스에 포함된다. 대화가 윈도우나 예산을 넘길 만큼 길어질 때는 컨텍스트 컴팩션(베타)으로 한 번 요약 비용을 치르고 이후 작은 컨텍스트를 들고 가는 선택지도 있다.
DeepSeek V4·Qwen 3.6·MiniMax M3, 오픈 웨이트 모델 격차 좁혀
2026년 상반기 오픈 웨이트 모델이 프런티어와의 격차를 빠르게 좁혔다. DeepSeek V4-Pro는 SWE-bench Verified에서 80.6%를 기록해 상위 폐쇄형 모델과 0.2포인트 차이까지 따라붙었고 MIT 라이선스로 풀렸다. Qwen 3.5는 397B 총 파라미터(패스당 17B 활성)에 201개 언어와 100만 토큰 컨텍스트를 지원하는 비전·언어 통합 모델이며, Qwen 3.6은 Apache-2.0으로 공개됐다. 6월에는 MiniMax M3가 프런티어급 코딩·100만 컨텍스트·네이티브 멀티모달을 결합한 첫 오픈 웨이트 모델로 등장했다. 라이선스·활성 파라미터·컨텍스트 길이가 모델마다 크게 다르므로, 자체 호스팅 시 vLLM 같은 서빙 스택과 GPU 메모리 요건을 함께 따져야 한다.
Gemini 3 시리즈, thinking_level 파라미터와 매니지드 에이전트 도입
Google의 Gemini 3 계열이 2026년 들어 빠르게 확장됐다. 2월 19일 Gemini 3.1 Pro Preview, 3월 3일 Gemini 3.1 Flash-Lite Preview가 나왔고, 5월 19일에는 에이전트·코딩에서 지속적인 프런티어 성능을 노린 Gemini 3.5 Flash가 정식(GA)으로 공개됐다. 개발자 입장에서 핵심은 두 가지다. 첫째, Gemini 3부터 도입된 thinking_level 파라미터로 응답 전 모델이 얼마나 깊게 추론할지 상한을 제어할 수 있다. 둘째, Gemini API의 Managed Agents가 퍼블릭 프리뷰로 풀려, Google이 호스팅하는 격리된 리눅스 샌드박스에서 상태를 유지하는 자율 에이전트를 만들고 배포할 수 있게 됐다. 추론 깊이 제어는 비용·지연과 직결되므로 워크로드별로 조정하는 것이 권장된다.
OpenAI GPT-5.5 시리즈 API 정식 제공, 에이전트·코딩 강화에 Instant까지
OpenAI가 2026년 4월 24일 GPT-5.5와 GPT-5.5 Pro를 API로 제공하기 시작했다. GPT-5.5는 현재 OpenAI의 최상위 모델로, 여러 단계를 거치며 도구를 쓰는 장기 에이전트 작업과 코딩·지식 노동에 초점을 맞췄다. 5월 5일에는 저지연을 유지하면서 법률·의료·금융 같은 민감 영역의 환각을 줄인 GPT-5.5 Instant가 공개되어 ChatGPT 기본 모델로 채택됐다. 앞서 3월에는 GPT-5.4와 경량판 GPT-5.4 mini·nano가 나왔고, nano는 API로 제공된다. 정확한 토큰 단가와 모델별 한계는 공식 모델 문서에서 확인해야 하며, 버전 명칭이 빠르게 갈리므로 호출 시 모델 ID를 명시적으로 고정하는 것이 안전하다.