AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
llm-gemini 0.34 버전 출시 및 Gemini 3.8 Flash 모델 소개
llm-gemini 0.34가 출시되었으며, 새로운 모델인 'gemini-3.8-flash'가 추가되었다. 이 모델은 낮음, 중간, 높음의 사고 수준을 지원한다. 또한 비동기 응답에서 모델 버전 기록 실패가 수정되었다. Google은 Gemini 3.8 Flash를 출시하였고, 이 모델은 HTML과 JavaScript 작업에서 빠르고 저렴한 성능을 보여준다.
Google, Gemini 3.8 Flash 모델 출시
Google은 Gemini 3.8 Flash를 출시했다. 이 모델은 Gemini 3.7 Flash보다 복잡한 작업에서 더 많은 추론 단계를 수행하고 도구를 반복적으로 호출하여 '더 열심히 작업한다'고 주장한다. 가격은 3.7 Flash와 동일하게 입력 토큰 100만 개당 $0.75, 출력 토큰 100만 개당 $3.75이지만, 성능 극대화를 위해 더 많은 토큰을 사용할 수 있다고 경고했다. 개발자들은 토큰 사용을 최소화하고 싶다면 Gemini 3.7 Flash를 계속 사용할 수 있다.
Claude Fable 5.1, AWS에서 출시
Claude Fable 5.1이 Amazon Bedrock과 Claude Platform에서 제공된다. 이 모델은 코딩, 과학 연구, 기업 워크플로우에서의 고급 작업을 지원하며, 'Covered Model'로 지정되어 데이터 보존 및 안전 검토 정책이 적용된다. Claude Fable 5.1은 이전 모델보다 향상된 추론 능력을 보여주며, 자율 운영 및 종합적인 지식 작업을 지원한다. 또한, 데이터 보존은 최대 30일이며, AWS에서 안전 검토를 위해 사용자의 프롬프트와 출력을 유지한다.
Claude Fable 5.1 및 Mythos 5.1 출시: 75% 캐시 읽기 가격 인하 및 70% 더 많은 출력 토큰
Anthropic은 Claude Fable 5.1과 Mythos 5.1을 출시했다. Fable 5.1은 복잡한 다단계 작업을 위한 모델로, 입력 토큰은 $10, 출력 토큰은 $50, 캐시 쓰기는 $12.5로 가격이 유지되었으며, 캐시 읽기 가격은 75% 인하되어 $0.25가 되었다. Fable 5.1의 컨텍스트 창은 1백만 토큰이다. 초기 벤치마크 결과에 따르면 Fable 5.1은 66의 인공지능 지수를 기록했다.
Qwen3.8-27B Q4로 제작한 마인크래프트 클론의 기능 추가
사용자가 Qwen3.8-27B Q4 모델을 사용하여 제작한 마인크래프트 클론이 훈련 데이터에 마인크래프트가 포함되어 있다는 이유로 인상적이지 않다는 의견이 제기되었다. 이에 따라 모델에 4가지 새로운 요소를 추가하도록 하였다.
Amazon Bedrock, 인도에서 OpenAI GPT-5.6 모델 지원 시작
Amazon Bedrock이 인도에서 OpenAI GPT-5.6 모델인 Terra와 Luna를 지원하며, 인도 내에서 데이터 처리 요구 사항을 충족할 수 있다. 두 모델은 1백만 토큰의 컨텍스트 윈도우를 제공하고, 텍스트 및 이미지 입력을 받아 텍스트 출력을 생성한다. 인도 내에서만 요청이 처리되며, Mumbai와 Hyderabad 리전 간의 크로스 리전 추론이 가능하다. 이 기능은 요청을 여러 AWS 리전으로 자동 라우팅하여 처리량을 개선한다.
Qwen 3.8 27B 모델을 16GB GPU에서 100k 컨텍스트로 실행하기
Qwen 3.8 27B 모델을 RTX 4070 Ti SUPER GPU에서 실행하는 방법을 공유한다. 이 설정은 100,000 토큰의 컨텍스트를 지원하며, VRAM 사용량은 약 15.93GB로 최적화되었다. 주요 구성 요소로는 Qwen3.8-27B-i1-IQ4_XS-GGUF-Smaller 모델, Jinja 템플릿, beellama.cpp 인퍼런스 엔진이 포함된다. 생성 속도는 47-50 토큰/초이며, KV 캐시 유형은 kvarn5(K)와 kvarn4(V)를 사용하여 메모리와 품질을 균형 있게 조정하였다.
Tencent의 Hy4 Preview 모델 발표
중국 회사 Tencent가 새로운 오픈 웨이트 텍스트 입력 LLM인 Hy4 Preview를 발표했다. 이 모델은 총 770B 파라미터와 49B 활성 파라미터를 가지며, 1M 토큰의 컨텍스트 윈도우를 지원한다. 이전 모델인 Hy3는 295B 파라미터와 21B 활성 파라미터, 256,000 컨텍스트를 가지고 있었다.
Alibaba, Qwen3.8-Flash-Next 모델 가중치 공개
Alibaba는 개발자들이 실험하고 평가할 수 있도록 Qwen3.8-Flash-Next의 모델 가중치를 공개했다. 이 모델은 125B 파라미터의 주 모델과 추가로 51B N-그램 임베딩을 포함하는 다중 모달 혼합 전문가(MoE) 모델이다. 각 토큰당 6B 파라미터가 활성화되며, 기본적으로 262,144 토큰의 컨텍스트 윈도우를 제공하고, 최대 1M 토큰까지 확장할 수 있다.
Decathlon의 Chronos-2를 통한 수요 예측 시스템 운영
Decathlon은 100,000명 이상의 직원과 4억 명의 사용자를 보유한 세계 최대의 스포츠 용품 소매업체로, 정확한 수요 예측을 위해 Chronos-2를 선택했다. 이 시스템은 12주 및 52주 예측을 통해 각 지역에서 25,000개 제품의 주간 판매량을 예측하며, 유럽, 인도, 중국, 동남아시아, 라틴 아메리카 등 여러 공급 지역에서 운영된다. 이전에는 Amazon SageMaker AI DeepAR과 Holt-Winters 기법을 사용했으나, 운영 복잡성을 줄이고 정확도를 높이기 위해 Chronos-2로 전환했다.
사주, 영화, 게임, 여행, 검색 트렌드 관련 API 소개
이번 편에서는 사주, 영화, 게임, 여행, 검색 트렌드와 관련된 API를 소개한다. 데이터의 신선도보다 쓸모가 중요하며, 각 도메인마다 대표 API를 제시한다. 예를 들어, 한국천문연구원의 음양력 정보 API는 양력 날짜를 입력하면 음력 날짜와 간지, 윤달 여부를 반환하며, 하루 10,000회 무료로 사용할 수 있다. 영화 관련 API로는 KOBIS 오픈API가 있으며, 일별 및 주간 박스오피스 데이터를 제공한다.
GLM-5.3-Flash 모델 출시
GLM-5.3-Flash는 GLM-5 시리즈의 첫 번째 네이티브 멀티모달 모델로, glm5_next 아키텍처의 첫 번째 오픈 웨이트 릴리스이다. 이 모델은 320B 파라미터를 가지며, 45개의 레이어로 구성되어 있다. GLM-5.3-Flash는 하이브리드 희소 및 선형 주의 메커니즘을 사용하고, 30T 토큰의 멀티모달 데이터로 훈련되었다. 또한, FP8 형식으로 제공되며, 1,048,576 토큰의 컨텍스트 길이를 지원한다.
Qwen3.8-Flash-Next: 멀티모달 MoE 모델
Qwen에서 공개한 Qwen3.8-Flash-Next는 멀티모달 MoE 모델로, Qwen4의 아키텍처를 미리 보여준다. 이 모델은 125B 토큰을 가지고 있지만, 6B 활성화로 성능 향상을 이룬다. 현재 DGX Spark에서 Unsloth 양자화 모델을 사용해 테스트 중이며, 72.5GB UD-IQ1_S와 78.9GB UD-Q2_K_XL 모델을 시도해 보았다.
로컬 모델의 한계와 데이터센터의 효율성
필자는 로컬 모델이 최첨단 모델만큼 강력해지기 어려우며, 대부분의 AI 작업은 데이터센터에서 이루어질 것이라고 주장한다. 로컬 모델은 초기 비용과 전력 비용이 높고, 데이터센터에서 실행하는 모델이 구조적으로 더 효율적이라고 설명한다. 데이터센터는 여러 사용자의 요청을 묶어 처리할 수 있어 GPU 활용률이 높아지며, 이는 비용 절감으로 이어진다.
Anthropic의 연간 수익 증가와 모델 사용 현황
Anthropic의 7월 연간 수익은 650억 달러로, 5월의 470억 달러에서 증가했다. Q3는 이익을 낼 것으로 예상되며, 6,000명의 고객이 연간 10만 달러 이상을 지출하고 있다. OpenAI의 연간 수익은 40억 달러를 넘어섰고, GPT 5.6의 출시가 성과에 기여했다. Ramp AI 지수에 따르면, 2026년 7월 Anthropic 모델 지출 비율은 Opus 4.8이 28.0%로 가장 높았다.
익명 모델 'Ox 알파', 하루 100조 토큰 무료 제공
오픈라우터에 익명으로 등장한 'Ox 알파'는 하루 100조 토큰을 무료로 제공하며, 기존 AI 모델들을 위협하는 코딩과 추론 성능을 보여준다. 이 모델은 100만 토큰의 대용량 컨텍스트 창과 최대 13만1072 토큰을 지원한다.
16 GB VRAM을 활용한 Qwen3.8 모델 설정
Windows에서 사용자는 Qwen3.8-27B-Uncensored-IQ4-XS-MTP-16GB-VRAM-GGUF 모델을 사용하며, MTP를 비활성화하고, q4 k/q4 v mmproj를 CPU/RAM으로 이동시켜 VRAM을 절약한다. Linux 사용자는 VRAM을 더 효율적으로 사용할 수 있다. 설정 예시로는 GPU 오프로드, 배치 크기 조정, 메모리 최적화 플래그 등이 포함된다.
토스증권의 LLM 서빙 모니터링과 문제 해결 사례
LLM 서빙 생태계가 변화하며, 토스증권은 다양한 오픈 소스 LLM과 튜닝 모델을 활용하고 있다. LLM의 서빙은 단순히 배포하는 것에서 벗어나, 효과적으로 운영하는 것이 중요해졌다. 토스증권은 쿠버네티스와 Argo CD를 활용해 ML 플랫폼을 구축하고, Grafana와 Kibana로 모니터링을 진행한다. LLM에 특화된 지표를 통해 문제를 발견하고 해결하는 과정에서 Prefix Cache Hit Rate와 finish_reason 같은 지표를 활용하여 성능을 개선했다. 또한, 중앙화된 모니터링 시스템을 통해 문제를 신속하게 탐지하고 대응하는 방법론을 정립했다.
항공사 수익 관리에 활용되는 생성 AI 기반 시장 모델
항공사는 수천 명의 승객을 수백 개의 항공편으로 운송하며, 다양한 변수를 고려해 가격을 책정한다. 생성 AI 기반의 시장 모델은 이러한 복잡한 작업을 실시간으로 처리하는 데 도움을 준다. 이 모델은 고해상도 수치 데이터를 학습하여 복잡한 재무 동태를 분석, 시뮬레이션 및 예측하도록 설계되었다. Virgin Atlantic의 수익 관리 부사장 도미닉 케네디는 이 모델이 수요, 용량, 예약 등을 실시간으로 고려하여 경쟁사와의 위치를 평가하는 데 도움을 준다고 언급했다.
Google Gemma 모델 10억 다운로드 달성 및 기념 행사
Google Gemma는 오픈 모델 가족이 10억 다운로드를 달성했다고 발표했다. 이를 기념하기 위한 행사가 8월 20일 샌프란시스코에서 열리며, 오픈 소스 개발자와 연구자들을 초대한다. 행사 참석은 신청이 필요하다. Demis Hassabis가 공식 계정을 통해 발표했으며, Clément Farabet도 참석 의사를 밝혔다.
Amazon Bedrock에서 OpenAI GPT-5.6 모델의 크로스 리전 추론 도입
Amazon Bedrock은 25개 이상의 AWS 리전에서 OpenAI GPT-5.6 모델을 제공하며, 크로스 리전 추론을 지원한다. Sol, Terra, Luna의 세 가지 GPT-5.6 변형이 있으며, 각 변형은 성능과 비용의 균형을 맞추도록 조정되었다. 크로스 리전 추론은 인퍼런스 프로필을 통해 작동하며, 요청을 소스 리전에서 호출하고, Amazon Bedrock이 해당 리전의 컴퓨트를 사용하여 요청을 목적지 리전으로 라우팅한다.
NVIDIA Nemotron 3.5 Lightning NVFP4 체크포인트의 성능 개선
NVIDIA Nemotron 모델 패밀리를 통해 개발자들은 지연 시간, 속도, 메모리 및 계산 요구 사항에 맞는 모델을 맞춤화할 수 있다. 새로운 Nemotron 3.5 Lightning NVFP4 체크포인트는 정확성을 유지하면서 최대 4배 빠른 처리량을 제공하며, 전체 정밀도 체크포인트에서 66GB에서 22GB로 압축되었다.
SpaceXai의 Cursor 인수 완료
SpaceXai가 Cursor를 인수했다. Cursor는 과거 5명의 팀으로 시작하여 ICML 2024에서 에이전트에 대한 발표를 진행했으며, 2026년에는 엔터프라이즈에서 FDE를 수행하는 세 번째 시대에 접어들었다. Z.ai는 GLM-5.3을 출시하며 사이버 보안 및 코딩에 중점을 둔 모델로, 743B 기본 모델을 기반으로 후속 훈련을 통해 성능을 개선했다. Qwen3.8-27B는 실무 코딩과 사무 작업을 위해 설계된 멀티모달 모델이다.
SpaceX의 Cursor 인수와 Grok 4.6 출시
SpaceX는 600억 달러에 Cursor를 인수하였고, Grok 4.6 모델을 출시하였다. Grok 4.6은 장기 에이전트, 코딩 및 다단계 지식 작업에 최적화되어 있으며, Cursor, Grok Build, GitHub Copilot, API 및 자율 에이전트와 직접 연결된다. 또한, 중국의 Z.ai는 GLM-5.3 모델을 발표하였고, River AI는 11억 달러를 모집하였다.