AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
2026년 8월 최고의 로컬 LLM
오픈 웨이트 모델에 대한 산업 연합이 결성되었으며, 이는 폐쇄형 모델에 대한 대응으로 나타났다. 사용자들은 현재 사용 중인 모델과 그 이유를 공유하고, LLM 평가의 어려움에 대해 자세히 설명할 것을 권장받고 있다. 추천 모델은 메모리 풋프린트에 따라 분류할 수 있으며, 다양한 VRAM 범주가 제시된다.
네이버 플레이스 AI MLOps의 vLLM 기반 모델 서빙 성능 최적화
네이버 플레이스 AI MLOps는 지난 1년간 검색과 추천에 사용하는 스코어링 모델의 서빙 구조를 vLLM 기반으로 전환했다. 0.6B 재순위화 모델을 Hugging Face의 Transformer.encode로 서빙했을 때 처리량은 63.85 QPS였으나, vLLM의 score 태스크로 옮기자 397.21 QPS로 약 6.2배 증가했다. 속성 기반 감성 모델의 p50 지연 시간은 101.22ms에서 16.43ms로 83.8% 감소했고, CLIP 기반 이미지 랭킹 모델의 처리량은 3.76 img/s에서 62.2 img/s로 16.5배 증가했다.
GitHub Models 서비스 종료
GitHub Models가 종료되었으며, 이에 따라 GitHub Actions에서 해당 모델을 사용할 수 없게 되었다. GitHub Models는 여러 LLM 제공업체에 대한 통합 API와 모델 플레이그라운드 도구를 제공했으며, GitHub Actions 내에서 GitHub API 키를 사용하여 프롬프트를 실행할 수 있는 장점이 있었다. 종료 이유는 명시되지 않았으나, 코딩 에이전트 패턴으로 인해 무료 또는 보조된 토큰 제공이 어려워졌을 것으로 추측된다. 사용자는 GitHub Models 대신 OpenAI API 키를 사용하여 GPT-5.6 Luna로 요약을 생성하고 있다.
Claude Fable 5 및 Claude Mythos 5 모델 접근 중단 및 복구
Claude Fable 5와 Claude Mythos 5는 2026년 6월 9일에 처음 출시되었다. 2026년 6월 12일, Anthropic은 미국 상무부의 수출 통제를 준수하기 위해 두 모델에 대한 접근을 중단했으며, 2026년 6월 30일에 해당 통제가 해제되자 7월 1일에 접근을 복구했다. Claude는 이러한 사건에 대해 사실적으로 확인하며, 개인적인 의견을 공유하지 않고 관련 정보를 제공한다.
스페이스XAI, 이미지 생성·편집 모델 ‘이매진 이미지 2.0’ 출시
스페이스XAI가 8일(현지시간) 이미지 생성·편집 모델 ‘이매진 이미지 2.0(Imagine Image 2.0)’을 출시했다. 이 모델은 복잡한 레이아웃, 정확한 텍스트 표현, 반복적인 이미지 편집, 캐릭터와 배경의 시각적 일관성 유지에 중점을 두고 있다. 이매진 이미지 2.0은 스페이스XAI의 웹 기반 이미지 생성 서비스와 그록(Grok)의 iOS·안드로이드 앱에서 새로운 ‘퀄리티 모드(Quality Mode)’로 제공되며, API는 앞으로 제공될 예정이다.
Kimi K3 모델 크기 711GB에서 478GB로 축소
Kimi K3 모델에서 다국어 기능을 제거하여 크기를 711GB에서 478GB로 줄였다. 이 모델은 영어만 유지되며, 나머지 기능은 그대로 intact하다. Kimi-K3-REAP-512GB-GGUF 2비트 모델은 Kimi K2.7보다 더 정확할 것으로 예상되며, 특정 환경에서 성능 차이가 있을 수 있다.
DeepSeek-V4-Flash API 공개 베타 출시 및 성능 향상
DeepSeek은 DeepSeek-V4-Flash API의 공식 공개 베타를 출시하였으며, 이 API는 V4-Pro-Preview를 초월하는 향상된 에이전트 기능을 제공한다. Terminal-Bench에서 82.7의 점수를 기록하며, 이는 이전의 56.9에서 +25.8 상승한 수치이다. 모델은 284B의 총 파라미터를 가지며, 1M 입력/출력 토큰당 $0.14/$0.28의 가격으로 제공된다. 또한, 98%의 캐시 적중 할인으로 $0.0028/1M 캐시된 토큰의 가격을 제공한다. 오픈 웨이트는 MIT 라이센스 하에 Hugging Face에 배포되었다.
Cloudflare의 Workers AI에서 Kimi K 시리즈와 GLM 모델 최적화
Cloudflare의 Workers AI는 Kimi K 시리즈와 GLM 모델을 GPU에서 효율적으로 실행하기 위한 세 가지 기술을 적용했다. KV 캐시를 8비트에서 4비트로 양자화하여 메모리 사용량을 줄이고, GLM 5.2의 모델 가중치를 8비트에서 4비트로 압축하여 메모리 요구량을 40% 감소시켰다. 이러한 최적화는 고객 수를 늘리면서도 비용을 낮추고 모델 정확도에는 변화가 없음을 확인했다.
Kimi K3 모델 배포의 어려움과 서버 비용
Moonshot AI의 K3 모델은 오픈소스이지만, 단순히 다운로드하여 개인 컴퓨터에서 실행할 수 없다. K3를 실행하기 위해서는 최소 16개의 H200 GPU가 필요하며, 데이터 센터나 기업 환경에서만 운영 가능하다. K3를 배포하기 위해서는 64개의 가속기 카드가 필요하고, 총 비용은 약 1700만 RMB에 달한다. 전력 소모량도 가정용 전기 설비를 초과할 수 있다. K3는 사이버 보안 능력이 약하며, 최근 평가에서 사이버 공격 개발 능력이 다른 모델에 비해 낮은 것으로 나타났다.
알리바바, 미국 AI 모델과 경쟁하는 Qwen3.8-Max 발표
중국의 알리바바가 자사의 가장 크고 강력한 AI 모델인 Qwen3.8-Max를 발표했다. 이 모델은 미국의 Anthropic 및 OpenAI의 시스템과 Moonshot AI의 Kimi K3와 성능이 경쟁한다고 주장하고 있다. 알리바바는 이 모델을 사용자에게 널리 제공할 것이라고 밝혔다.
OpenAI GPT-5.6 모델이 Amazon Bedrock에서 일반 제공 시작
OpenAI GPT-5.6 Sol, Terra, Luna 모델이 Amazon Bedrock에서 일반 제공된다. GPT-5.6 모델은 복잡한 추론 및 에이전트 코딩 작업을 위한 Sol, 일상적인 생산 작업을 위한 Terra, 분류 및 요약 같은 고속 대량 작업을 위한 Luna로 구성된다. 또한, GPT-5.6은 명시적 프롬프트 캐싱 기능을 도입하여 요청 간에 캐시할 프롬프트의 특정 부분을 제어할 수 있으며, 캐시된 입력은 90% 할인된 요금으로 청구된다.
Anthropic의 Opus 5, Fable을 벤치마크에서 초과 성능
Matthew Berman의 리뷰에 따르면, Anthropic의 새로운 AI 모델 Opus 5가 Fable을 거의 모든 벤치마크에서 초과 성능을 보였으며, 가격은 Fable의 절반이다. Opus는 Anthropic의 모델 라인업에서 Fable 아래 단계에 위치하지만, 벤치마크 결과는 반대의 결과를 보여주었다.
문샷AI의 키미 K3와 알리바바의 큐원3.8-Max 공개
문샷AI는 7월 16일 2.8조 파라미터의 오픈웨이트 모델 키미 K3를 공개했으나, 사흘 만에 신규 구독을 닫았다. 이는 예상보다 큰 수요로 GPU가 과부하에 걸렸기 때문이다. 알리바바는 K3 공개 후 사흘 뒤 큐원3.8-Max를 프리뷰로 공개했다. K3는 질문에 맞는 일부만 사용하여 비용을 절감하며, 100만 토큰의 긴 문서도 처리할 수 있다. K3는 종합 지능 평가에서 1,668점을 기록하며 3위에 올랐다.
Mubert API: 트랙 및 스템 편집 기능 제공
Mubert API는 새로운 엔진을 통해 일관된 음악을 제공하며, 트랙 및 스템을 편집할 수 있는 기능을 지원한다.
DeepSeek-V4-Flash-0731: 로컬에서 실행 가능한 모델의 지능 지수
2026년 3월 6일 기준으로 프론티어 모델의 최고 지능 지수는 51이었으며, DeepSeek-V4-Flash-0731 모델은 50의 지능 지수를 가지고 있다. 이 기준이 정확하다면, 8,000달러 이하의 하드웨어에서 실행 가능한 모델이 5개월 전의 최고 프론티어 모델과 거의 동일한 지능 지수를 가진다는 의미이다.
최근 출시된 중간 범위 모델 목록
최근 1주일 반 동안 다음과 같은 중간 범위 모델들이 출시되었다: Thinking Machines Inkling Small, DeepSeek v4 Flash 0731, Poolside Laguna, Upstage Solar, Microsoft Mage VL, LG ExaOne, SenseNova u1.5, BottleCap - ThinkingCap, Kimi K3.
Kimi K3 모델의 AWS SageMaker HyperPod 및 EKS 배포
Moonshot AI는 2026년 7월 27일에 2.8 조 개의 매개변수를 가진 Mixture of Experts (MoE) 모델 Kimi K3를 출시했다. Kimi K3는 896개의 전문가를 통해 매개변수를 분산시키며, 한 번의 전방 패스에서 약 1040억 개의 매개변수가 활성화된다. 이 모델은 Hugging Face에서 공개된 가중치로 제공되며, MXFP4 형식으로 배포된다. Kimi K3의 배포를 위해서는 p6-b300 인스턴스가 필요하다.
DeepSeek V4 Flash 모델, 304억 개 파라미터와 경쟁력 있는 가격
DeepSeek의 V4 패밀리 최신 모델인 DeepSeek V4 Flash는 3040억 개의 파라미터를 가지고 있으며, Hugging Face에서 167GB의 용량을 차지한다. 이 모델은 MiniMax M3(428B 모델)보다 높은 성능을 보이며, 입력당 $0.14, 출력당 $0.27의 가격으로 제공되어 현재 가장 가성비 좋은 모델로 평가받고 있다. Intelligence Index에서 비용 대비 성능이 뛰어난 것으로 나타났다.
Amazon SageMaker AI 엔드포인트를 위한 추론 메타 모니터링 소개
조직은 머신러닝 모델의 예측 품질을 추적하지 않으면 고객 불만이나 점검 시점에만 문제를 인식하게 된다. 이 글에서는 Amazon SageMaker AI 엔드포인트를 위한 추론 메타 모니터링을 소개하며, 이는 생산 ML 추론 파이프라인 위에 자리잡아 예측 및 데이터 품질 지표를 지속적으로 추적하고 시각화하는 거버넌스 레이어를 제공한다. 시스템은 드리프트 감지, 지연된 실제 데이터 통합, 자동화된 성능 대시보드를 포함한다.
Kimi K3 모델의 AWS 배포 방법
Moonshot AI는 2026년 7월 27일 Kimi K3를 출시했다. Kimi K3는 2.8 조 개의 매개변수를 가진 Mixture of Experts (MoE) 모델로, 896개의 전문가가 있으며, 토큰당 16개만 활성화된다. 이 모델은 복잡한 작업을 처리할 수 있으며, Hugging Face에서 공개 가중치가 제공된다. Kimi K3의 배포를 위해서는 p6-b300 인스턴스가 필요하며, AWS의 SageMaker HyperPod와 EKS 클러스터를 통해 배포할 수 있다.
Claude Opus 5, Fable 5와 비슷한 성능을 반값에 제공
Claude Opus 5는 Fable 5와 비슷한 성능을 제공하면서 API에서 토큰당 가격이 절반이며, 구독을 통해 더 저렴하게 이용할 수 있다. Opus 5는 주로 로컬 작업에 강하며, 복잡한 작업에서는 Fable보다 느리거나 과도한 경우가 많다. 그러나 Opus 5는 사용자와의 상호작용에서 부정적인 반응을 보이는 경우가 있어, Fable에 비해 불만이 많다. Opus 5는 오늘부터 사용 가능하며, 코딩과 데이터 분석에서 새로운 최첨단 모델로 평가받고 있다.
Perplexity의 Model Council, 다중 모델 쿼리 구성 기능 추가
AI 검색 기업 Perplexity는 화요일에 Model Council을 클라우드 기반 Computer 플랫폼에 확장하여 사용자가 다중 모델 쿼리를 구성할 수 있는 방법을 추가했다. Model Council은 사용자가 특정 문제에 대해 여러 모델을 독립적으로 작동시켜 결과를 종합하는 기능을 제공한다. 이제 사용자는 OpenAI, Anthropic, Google 등 다양한 모델 중 2개에서 8개를 선택할 수 있으며, 보고서 및 작업 준비 자산으로 결과를 변환할 수 있다. Model Council의 접근은 개인 Max 및 Pro 사용자에게도 제공되며, 사용량 기반 과금이 적용된다.
Moonshot AI의 Kimi K3 오픈 웨이트 모델 출시
Moonshot AI가 Kimi K3 모델을 오픈 웨이트 패키지로 출시했다. Kimi K3는 2.8T 파라미터의 MoE 모델로, 104B의 활성 파라미터와 896명의 전문가를 포함하며, 1M 토큰의 컨텍스트를 지원한다. 이 모델은 K2에 비해 약 2.5배의 스케일링 효율성을 개선했으며, 상업적 사용에 제한이 있다. K3는 vLLM, Baseten, DigitalOcean 등 여러 플랫폼에서 즉시 배포되었다.
클로드 오푸스 5 출시 및 사용 방식 변화
클로드 오푸스 5가 7월 24일 출시되었으며, 이는 5세대 클로드의 세 번째 모델이다. 오푸스 5는 일상 업무와 엔터프라이즈에 적합하도록 설계되었고, 가격은 입력 $5, 출력 $25(100만 토큰 기준)로 페이블 5의 절반이다. 기존의 클로드 사용 방식과 달리, 오푸스 5는 새로운 프롬프트와 하네스 방식이 요구된다.