AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
AWS CEO 매트 가먼이 말하는 에이전트 시대의 클라우드 인프라 전략
a16z의 라구 라구람이 AWS CEO 매트 가먼과 나눈 대담으로, AI가 클라우드를 어떻게 바꾸고 있는지 다룬다. AI 네이티브 스타트업의 요구와 에이전트를 위해 설계되는 인프라가 주요 논의 대상이다. 대담에서는 에이전트가 코드를 작성하고 인프라를 관리하는 상황에 AWS가 어떻게 적응하고 있는지, 희소한 GPU 용량을 스타트업을 위해 따로 확보하는 이유, 그리고 Trainium과 Graviton 같은 자체 칩이 AI 스택의 어디에 놓이는지를 설명한다. 아마존의 2,200억 달러 규모 자본 투자, 인프라 구축에서 병목이 이동하는 양상, 기업이 자율 에이전트를 신뢰하기 위해 필요한 조건, AWS 내부 팀이 에이전트로 개발하는 방식도 함께 다룬다.
Amazon Bedrock 비용을 FinOps와 플랫폼 팀이 함께 관리하는 5단계 운영 모델
AWS Machine Learning Blog는 Amazon Bedrock 비용을 귀속(attribute), 관찰(observe), 제어(enforce), 최적화(optimize), 운영(operate)의 다섯 단계 루프로 관리하는 방법을 제시했다. 모델 단가 비교나 프롬프트 축소만으로는 어느 팀이 어떤 워크로드에서 얼마를 썼는지 답하기 어렵다는 것이 문제의식이다. 1단계에서는 Amazon Bedrock이 추론 비용을 호출한 IAM 주체(principal)에 자동으로 귀속시키며, 호출자의 ARN은 AWS Cost and Usage Report(CUR) 2.0의 line_item_iam_principal 컬럼에 기록된다고 설명한다. 설정은 CUR 2.0에서 IAM 주체 데이터 활성화, IAM 주체에 team·application·cost center 태그 부여, 비용 할당 태그 활성화, 그리고 Cost Explorer에서 IAM 카테고리로 필터링하는 순서로 진행된다. 태그는 활성화 후 24~48시간 안에 Cost Explorer에 나타난다고 한다. 기사에 따르면 이는 별도 인프라 없이 청구서 수준의 주체별 귀속을 얻는 방식이다. 에이전트형 워크로드는 한 작업에 많은 호출을 발생시키고 호출마다 더 큰 컨텍스트를 전달하기 때문에, 토큰 소비가 사용자 상호작용 수보다 워크플로의 자율성과 컨텍스트 크기에 비례해 늘어난다고 기사는 지적한다.
GPT-6.1 Terra, GPT-6 Astra에 근접한 점수를 토큰 가격 10분의 1로 제공, 챗GPT 채팅창에는 없음
오픈AI가 2026년 10월 26일 GPT-6.1 Terra를 공개했다. 기사에 따르면 가장 비싼 모델인 GPT-6 Astra와 비슷한 점수를 토큰 가격 10분의 1에 낸다는 것이 핵심이다. 다만 이 모델은 챗GPT 채팅창에서는 쓸 수 없고 ChatGPT Work, Codex, API, GitHub Copilot에서만 선택할 수 있다. 오픈AI 도움말에는 Chat에서는 사용할 수 없다고 적혀 있다. 기사는 화면을 이해하고 앱을 넘나들며 조작하는 모델을 더 낮은 가격에 내놓았다는 내용을 함께 소개했으며, 인공분석(Artificial Analysis)은 비용 효율의 프런티어를 밀어붙였고 3분의 1 미만 비용으로 더 높은 지능을 낸다고 평가했다고 전했다.
구글 Gemini 4 Carbon 공개, 사이버 방어팀 일부만 사용 가능
구글이 10월 28일 Gemini 4 Carbon을 공개했다. 보름 전 공개된 Gemini 4 Argon을 다시 손본 모델로, 구글은 '가장 강한 모델'이라고 소개했다. 현재 Gemini 앱과 API에는 아직 올라오지 않았고 구글이 고른 사이버 방어팀 일부만 쓸 수 있다. 기사는 성능 발표 대신 1위라는 수치가 무엇을 가리키는지, 모델의 가격이 얼마인지, 일반 사용자가 언제 접근할 수 있는지를 짚는다. 같은 주 X에서 화제가 된 AI 소식으로 Claude의 법무용 아티팩트 갤러리, 챗GPT의 문자 발신 '닷' 기능, OpenAI의 프로·비즈니스 구독자 대상 월 500달러 API 크레딧 등이 함께 언급되었다.
OpenAI, Anthropic과 같은 조건으로 ChatGPT 구독자에게 API 크레딧 제공
OpenAI가 월 100달러, 200달러, 500달러 ChatGPT 구독 플랜 이용자에게 해당 금액만큼의 API 크레딧을 제공하는 혜택을 내놓았다. 크레딧은 이용자의 API 조직 중 하나에 적용할 수 있다. 앞서 Anthropic이 Max 및 Team 구독자에게 같은 방식의 혜택을 발표한 데 이어 나온 조치다. 기사 작성자 Simon Willison은 Anthropic과 OpenAI 두 회사의 구독을 모두 유지하고 있다고 밝혔다. 그는 이제 기존 구독으로 크레딧이 이미 충당되므로 공개용 데모를 배포할 수도 있을 것이라고 했다.
OpenAI 테드 샌더스, 모델 이름 체계 설명: Luna < Terra < Sol < Astra 순서와 버전 번호의 의미
OpenAI의 Ted Sanders는 LLM 성능이 여러 차원에 걸쳐 있지만 많은 차이가 모델 크기 하나로 설명된다고 밝혔다. 그는 모델 크기가 클수록 신뢰도가 높고, 토큰당 비용이 많이 들며, 희귀한 사실을 더 잘 기억한다고 설명했다. Sanders는 OpenAI 모델의 순서를 Luna < Terra < Sol < Astra로 제시했다. 버전 번호는 출시 순서, 다른 릴리스와의 관계, 개선 폭을 함께 나타낸다고 설명했다. 예를 들어 6.1은 5.6 이후에 출시됐고 다른 6.1 모델과 학습 데이터나 성격을 일부 공유하지만, 7로 부를 만큼 큰 도약은 아니라는 의미라고 밝혔다.
Google DeepMind, Gemini 4 Carbon 공개…사이버 방어 업계에 우선 제공, 독립 리더보드 1위
Google DeepMind가 Gemini 4 Carbon을 공개했고, 사이버 보안과 장기 과제에서 최고 성능을 주장하며 접근은 신뢰받는 사이버 방어자 대상 Fairwind 프로그램으로 먼저 제한된다. Artificial Analysis Intelligence Index v5에서 59점으로 1위를 기록해 Google DeepMind가 해당 지수에서 처음으로 선두에 올랐다. Carbon은 SEC-bench Pro 취약점 발견 88.2%, ExploitGym 익스플로잇 54.8%, CWE-bench 패치 71.0%를 기록했다고 발표됐다. 컨텍스트 창은 100만 토큰, 최대 출력도 100만 토큰이며 입력은 텍스트·이미지·영상·음성, 출력은 텍스트다. 가격은 기사에 따라 다르게 보고됐다. Phil Schmid는 입력·출력 100만 토큰당 $2/$10를 인용했고, Artificial Analysis는 표준가 $4/$20에 종료일이 없는 50% 출시 할인을 적용했다고 밝혔다. 캐시 입력은 100만 토큰당 $0.20이다. 코딩 에이전트 지수에서 Carbon은 Antigravity CLI 기준 59점으로, Opus 5.5 [max]의 Claude Code 62점에 미치지 못했다. 환각률은 Argon의 4%에서 11%로 올랐지만 측정된 모델 중 두 번째로 낮다고 기사는 전했다. Artificial Analysis는 코딩 결과가 Antigravity CLI에서만 측정되어 다른 하네스에서의 결과는 검증되지 않았다고 명시했다. 사이버 용도의 환각 위험을 우려하는 반응도 있었고, 일부 평가자는 Google이 다음 OpenAI·Anthropic 출시보다 약 두 달 뒤처져 있다고 봤다. 한편 Opus 5.5가 58점에서 Artificial Analysis 기준 1위였던 순위는 Carbon 등장으로 재편됐다.
Liner Router API 실측: 쿠버네티스 장애 대응 에이전트 비용을 GPT-6.1 Sol의 28% 수준으로 낮춘 결과
라이너가 2026년 9월 15일 출시한 Liner Router API를 AIOps 에이전트 벤치마크로 측정한 결과, 운영 점수는 GPT-6.1 Sol(0.960)에 근접한 0.940을 기록했고 비용은 GPT-6.1 Sol의 28% 수준이었다. 라이너가 내세운 비용 절감 주장이 에이전트 작업에서도 확인되는지를 검증한 실측 기사다. 측정은 Codex CLI 0.161.0 버전을 고정하고 모델만 바꾸는 방식으로 진행했으며, 공개된 장애 시나리오로 한 1차 측정과 모델 간 차이가 나도록 새로 만든 장애 10개로 한 2차 측정을 거쳤다. 운영 점수는 정확도와 안전도를 곱해 계산했고, 안전도는 감사 로그로 판정한 위험 조치 1건마다 0.25씩 감점했다. 비용은 단가 차이로 약 45% 줄었고 나머지는 토큰이 적었던 효과로 분석됐으며, 경량 모델 GPT-6 Luna보다는 3.3배 비쌌다. 첫 출력까지 걸린 시간은 GPT-6.1 Sol보다 0.8초 길었지만 장애 1건 전체 처리 시간은 더 짧았다.
NVIDIA DGX Spark에서 Ling-3.0-flash 추론을 빠르게 하는 MoE 연산 최적화 방법
NVIDIA 기술 블로그는 Inclusion AI의 Ling-3.0-flash 모델을 NVIDIA DGX Spark에서 batch-size-1로 평가한 결과를 다룬다. 프로파일링 결과 디코딩은 메모리 바운드였고, 모델 가중치를 읽는 데 실행 시간이 주로 쓰였다. 이 중 혼합 전문가(MoE) 연산과 점수를 산출하는 출력 레이어 프로젝션이 두드러진 병목으로 확인됐다.
Anthropic, 두뇌(하네스)와 손(샌드박스) 분리로 Managed Agents 구조 설명
Anthropic의 Katelyn Lesse(엔지니어링)와 Angela Jiang(프로덕트) 인터뷰에서 Opus 5.5 출시 과정과 Claude를 Claude로 만드는 방식이 공개됐다. 핵심은 에이전트의 세션 로그·하네스(두뇌)와 코드를 실행하는 샌드박스(손)를 분리한 Managed Agents 구조다. 기사에 따르면 Opus 5.5는 이전 Opus 세대가 너무 장황하다는 피드백을 반영하고 달러당 지능을 높이는 데 초점을 맞췄다. Anthropic은 새 모델의 실행 비용이 전 세대보다 낮다고 밝혔으나 절감 폭은 워크로드와 캐시된 컨텍스트 사용량에 따라 달라진다고 설명했다. API 측면에서는 모델 추론 과정(thinking block)을 여러 턴에 걸쳐 보존하는 방식이 추론 내용의 추출·증류(distillation)를 어렵게 하는 데 쓰이며, 이 요구사항은 기존 고객의 하네스를 깨뜨릴 수 있다고 언급됐다. Managed Agents에서는 세션 로그와 하네스를 유지한 채 필요할 때만 실행 환경을 생성하며, 샌드박스가 실패해도 에이전트 세션 전체가 종료되지 않는다. 샌드박스 내부에는 서비스 자격 증명을 두지 않고 프록시를 통해 붙이는 방식이 설명됐다. 기사가 든 이전 방식의 문제는 코딩 에이전트 전체를 API 뒤의 샌드박스에 넣어 시작 지연이 첫 응답 전에 더해지고, 샌드박스가 사라지면 실행 중인 에이전트도 함께 사라진다는 점이었다. 분리 이후 지연 시간과 안정성을 개선하면서 실행은 격리할 수 있게 됐다. 기사는 기능 목록보다 로드맵 우선순위도 언급했는데, 메모리와 학습은 중요하지만 모델 출시가 어려워지면서 당장의 관심은 안전 쪽으로 옮겨갔다고 밝혔다. 또한 기본 하네스는 단순하게 유지하고 검증기(verifier)나 병렬 에이전트 같은 전략은 개발자가 그 위에서 실험하도록 한다는 방향이 소개됐다. 다만 향후 플랫폼 기능에 대한 언급은 확정된 출시 약속이 아니라 계획으로 봐야 한다고 기사는 덧붙였다.
토스, 선택적 내재화(SNAP)로 LLM 호출 비용 절감 — 작은 모델이 처리 가능한 요청부터 전환
토스가 생성형 AI 호출 중 작은 모델이 높은 신뢰도로 처리할 수 있는 요청만 골라 내재화하는 선택적 내재화(SNAP, Selective Native AI Processing)를 적용해 LLM 비용을 줄였다. 첫 적용 대상인 동일상품 판별 작업에서 내재화 모델이 운영 요청의 약 33~37%를 처리했다. SNAP은 LLM 호출 로그를 시스템 프롬프트 앞부분의 해시(Task Fingerprint)로 작업 단위로 묶고, 호출량과 토큰 수 기준으로 추정 비용이 큰 상위 작업을 선정한다. 이후 응답의 정형화 여부와 레이블 분포를 검증해 통과한 작업만 Airflow 일일 배치로 학습하며, 모델 Confidence와 오프라인 검증 기준으로 기존 LLM으로 fallback할 구간을 정한다. 첫 배포는 두 상품의 이름과 옵션을 비교하는 동일상품 판별 작업으로, 목표 일치율 99.9% 조건에서 검증 요청 100,648건 중 34,963건(coverage 34.74%)을 채택했고 실제 일치율은 99.9028%였다. 목표 일치율을 99%로 낮추면 coverage는 51.59%, 95%로 낮추면 72.35%까지 높아졌다. 운영에서는 약 6일간 내재화 모델이 일별 약 33~37%의 요청을 처리했고, 같은 기간 입력 토큰 약 76억 개와 출력 토큰 약 4,520만 개를 줄였다. L4 GPU 1장 환경의 부하 테스트에서는 초당 598건 구간 p50 7.24ms, 초당 1,203건 구간 p50 9.02ms·p99 15.23ms를 기록했고 실패·드롭 요청은 없었다. 전체 요청을 한 번에 소형 모델로 대체하려면 넓은 범위의 품질을 확보해야 하고, 토스는 유사한 분류 작업을 전체 내재화하는 데 개발에 1~2개월이 걸렸다고 밝혔다. 이 때문에 SNAP은 후보 발굴과 학습을 자동화하고 검증 기준을 만족하는 요청부터 부분 적용하는 방식을 택했다. 기사는 향후 JEV 같은 판단 특화 Decision Engine 형태의 모델도 SNAP에 활용할 수 있을지 실험 중이라고 밝혔다.
Amazon Bedrock에서 OpenAI 모델 사용 시 프롬프트 캐싱으로 AI 에이전트 비용 줄이기
AI 에이전트는 매 단계마다 도구 정의, 지침, 이전 호출 기록을 모델에 다시 보내야 한다. Amazon Bedrock의 프롬프트 캐싱은 이 반복되는 입력을 저장해 재사용하고, 입력 가격의 일부만 내도록 한다. 기사는 에이전트가 첫 호출에서 도구 목록, 지침, 히스토리, 새 턴을 모델에 보낸다고 설명한다. 모델은 요청 간 내부 메모리가 없어서 턴 20이면 턴 1~19를 다시 읽어야 하고, 그만큼의 토큰 비용이 매번 발생한다. 프롬프트 캐싱은 prefill 단계에서 만든 key-value 상태를 저장했다가, 같은 입력 토큰으로 시작하는 다음 요청에서 이를 불러와 새로 계산해야 할 부분만 처리한다. 캐싱은 Bedrock이 캐시 지점을 정하는 암묵적 방식과 코드에서 prompt_cache_breakpoint로 지점을 지정하는 명시적 방식이 있으며, 기사는 두 방식을 함께 쓰기를 권한다. 기사 예시에서 재사용 가능한 접두사는 1,024토큰 이상이어야 캐시 대상이 된다.
OpenAI, 시각 추론과 컴퓨터 사용에 초점을 맞춘 GPT-6.1 Terra 공개
OpenAI가 빠르고 효율적인 모델 GPT-6.1 Terra를 공개했다. 상세한 시각 추론과 정밀한 컴퓨터 사용, 더 명확하고 자연스러운 글쓰기를 결합했으며 GPT-5.6 Terra보다 크게 개선됐다고 밝혔다. OpenAI는 릴리스 발표에서 GPT-6.1 Terra를 시각 추론과 컴퓨터 사용을 중심으로 소개했다. 제안서 작성, 기술 도면 해석, 양식 작성, 영상 편집처럼 업무일과를 채우는 소통·컴퓨터 기반 작업에 강점이 있다고 설명했다. 가격은 입력 토큰 100만 개당 $1, 출력 토큰 100만 개당 $5이며, 이는 GPT-5.6 Terra 및 GPT-6.1 Sol의 약 절반이고 GPT-6 Luna의 약 10배 수준이다. 사이먼 윌리슨은 'max' 추론 설정으로 펠리컨 자전거 그림을 생성했을 때 비용이 11.3161센트이고 4분 11초가 걸렸다고 기록했다. OpenAI의 Ted Sanders는 Hacker News 댓글에서 기술 커뮤니케이션은 Terra가 Astra와 Sol보다 낫고, 비전과 컴퓨터 사용은 비슷하지만 훨씬 빠르며, 그 밖의 대부분에서는 약간 떨어진다고 말했다. 그는 API 개발자에게는 Sol보다 저렴하면서 Luna보다 훨씬 똑똑한 중간 선택지라고 설명했고, 구독자에게는 사용량 한도에 걸렸을 때 조금 더 쓸 수 있게 해줄 수 있는 정도의 릴리스라고 평가했다.
Moonshot AI, Kimi K3.1 Pro 공개…토큰 단가 절반, 작업 단위 비용은 그렇지 않다는 분석
중국 Moonshot AI가 10월 23일 Kimi K3.1 Pro를 공개했으며, 회사 설명상 3조 파라미터급 공개 모델이고 한 번에 처리하는 컨텍스트는 100만 토큰이다. 기사는 kimi.ai에서 바로 사용할 수 있다고 전하며, 토큰 단가는 정확히 절반이지만 작업을 실제로 맡겼을 때의 비용은 절반이 아니라고 짚는다. 기사는 Artificial Analysis가 10월 26일 기준으로 측정한 수치를 함께 소개한다. Kimi 공식 계정은 K3.1 Pro를 2.8조 파라미터, 활성 1,040억, 100만 토큰 컨텍스트로 소개했고, Artificial Analysis는 이를 종합 4위·점수 55로 집계했다. 같은 집계에서 오푸스 5.5는 58점으로 기재됐다.
Azure AI Speech LLM 09-2026, 인도계 11개 언어 포함 25개 언어 추가·처리 속도 최대 2배
Azure AI Speech의 LLM Speech 09-2026 릴리스는 인도계 언어 11개를 포함해 25개 언어를 추가하고 Fast Transcription API에서 처리 속도를 2607 대비 최대 2배 높였다. 음성 에이전트, 자막, 콜센터 분석 등 다국어 음성 워크로드의 응답 속도와 정확도를 함께 끌어올리는 업데이트다. 추가된 인도계 언어는 Assamese, Bengali, Gujarati, Kannada, Malayalam, Marathi, Odia, Punjabi, Tamil, Telugu, Urdu이며, 그 밖에 Catalan, Malay, Welsh가 새로 지원된다. 전체 지원 언어는 50개, 60개 이상의 로케일이다. 인식 품질은 2607 대비 GigaSpeech, VoxPopuli 등 벤치마크에서 Token Error Rate 최대 25%, Entity Error Rate 최대 37% 개선됐고, 실적 발표 도메인의 금융 엔터티에서 특히 향상됐다고 밝혔다. 짧은 오디오(5~10초)를 여러 스트림으로 동시에 처리하는 경우 속도 이점이 두드러진다. 무음·빈 오디오를 콘텐츠로 취급하지 않도록 개선해 환각을 줄였다고도 한다. 다국어 모드는 기본값이며, 한 파일에 지원 언어가 여럿 섞여 있으면 locale 힌트를 생략하도록 안내한다. 로케일 힌트는 단일 언어 오디오에서 정확도를 높이는 용도다. REST API에서는 locales 배열, phraseList(최대 2,000개 구문), diarization, profanityFilterMode 등을 함께 설정할 수 있다. 업데이트는 서비스 측에서 자동 배포되어 고객이 별도 조치할 필요가 없다고 명시했다. 시험해 보려면 Foundry Playground의 Azure Speech – Speech to Text 또는 REST API와 SDK를 사용할 수 있다.
DeepSeek V4.1 Flash 1017 공개, 오픈웨이트 중 Artificial Analysis 지능 지수 45점으로 2위권
DeepSeek V4.1 Flash 1017은 552B 총 파라미터·16B 활성 MoE 구조에 1M 토큰 컨텍스트와 MIT 라이선스로 공개됐다. Artificial Analysis 지능 지수 45점으로 오픈웨이트 모델 중 GLM-5.3과 함께 2위에 올랐다. 가격은 피크 시간대 기준 입력 100만 토큰당 $0.30, 출력 $1.20으로 이전과 같고, 오프피크에는 절반이며 캐시 적중 시 입력은 $0.006이다. DeepSeek API와 Fireworks, Baseten, DeepInfra, Cloudflare, Together 등에서 쓸 수 있다. Artificial Analysis 기준 GDPval-AA Elo는 146 오른 1746, CritPt는 14%에서 24%로 상승했고, AA-Omniscience의 비환각 응답률은 4%에서 33%로 올랐다. Code Arena WebDev에서는 오픈 모델 1위(전체 12위, 1670점)를 기록했고, Agent Arena에서도 오픈 모델 1위였다. 로컬 실행용으로는 Unsloth가 llama.cpp 구현과 동적 GGUF를 공개했다. Artificial Analysis는 MiMo-V2.6-Pro와 GPT-6.1 Sol(medium)이 더 낮은 작업당 비용으로 더 높은 점수를 낸다고 명시했다. 작업당 비용은 Agent Arena 기준 중앙값 $0.20이며, 한 테스터는 에이전트 실행 개선이 추론 개선보다 크다고 보고했다. 다만 해당 비교에는 모델 업데이트와 함께 DeepSeek Harness 0.2.1 변경이 포함돼 있어 순수한 모델 효과로 보기는 어렵다고 지적됐다.
Kimi K3.1 Pro 공개: 2.8T 파라미터·104B 활성 MoE, 11월 4일 오픈 웨이트 예정, Highspeed API 2~3배 속도
Moonshot이 2.8조 총 파라미터·활성 104B의 멀티모달 MoE 모델 Kimi K3.1 Pro를 공개했고, 가중치는 2026년 11월 4일 공개를 약속했다. 독립 평가에서 Artificial Analysis 지능 지수 55점(4위), Arena Code WebDev 8위(1,692점)를 기록해 오픈 웨이트 모델이 폐쇄형 최상위 모델과의 격차를 좁혔다는 점에서 주목된다. Standard와 Highspeed 두 버전이 kimi.com 웹·앱, Kimi Work, Kimi Code, API로 출시됐다. 1M 토큰 컨텍스트를 지원하며, Moonshot은 Highspeed가 지능을 유지하면서 출력 속도를 2~3배 높이고 비용은 두 배라고 밝혔다. 함께 공개된 Kimi Hosted Agents는 장시간 작업과 다중 에이전트 협업을 위한 24시간 실행 환경을 제공한다. Artificial Analysis 사이버 지수에서는 64%로 공개 접근 가능한 모델 중 최고치를 기록했고, 전체 2위였다(1위는 신뢰 접근 전용 GPT-6 Sol Daybreak Blue 69%). 출시 시점에 API만 열렸고 가중치는 공개되지 않았다. 라이선스, 재배포 조건, 상업적 사용 제한, 체크포인트 정밀도는 기사에서 확인되지 않는다. 2.8T 파라미터는 16비트 기준 약 5.6TB, 4비트 기준 약 1.4TB에 해당하는 계산값으로, 로컬 실행이라 부르기에는 상당한 가속기 인프라가 필요하다는 지적도 함께 나왔다.
Spark X2.6 4B, 도구 호출 성능이 뛰어난 소형 로컬 LLM으로 소개됨
r/LocalLLaMA에 올라온 글에서 Spark X2.6 4B 모델이 같은 크기 대비 가장 좋은 성능을 보인다는 평가가 소개되었다. 작성자는 pi cli에서 도구 호출을 테스트한 결과를 공유했다. 작성자는 temp 1.0 외에는 다른 파라미터를 설정하지 않았다고 밝혔다. 첫 번째 테스트에서는 Blender용 Python 스크립트를 작성해 빨간 큐브를 만들고, 회전시킨 뒤 렌더링하도록 요청했다. 두 번째로는 복잡한 Rust 코드베이스를 이해시키고, 앱의 한 부분과 다른 부분에서 동작 방식이 조금 다른 지점을 설명하도록 했다. 이때 도구 호출은 12회였으며 작성자는 요점에 맞게 답했다고 평가했다. 세 번째로는 skills와 extensions 없이 pi cli를 실행했음에도 전역 agents.md를 찾아 이해하고, 매 턴마다 변경된 파일 목록을 작성했다고 전했다. 작성자는 모델이 작고 빠르며 KV 캐시도 작다고 설명했고, 사고 과정이 절제되어 있고 핵심을 짚는다고 평가했다. MTP 지원은 곧 나올 예정이라고 언급했다. 반면 비전 기능은 없다고 밝혔다.
ISTA-DASLab, GSQ-RCO 양자화를 적용한 DeepSeek-V4.1-Flash-1017 GGUF 양자화 모델 공개
ISTA-DASLab이 자사의 GSQ-RCO 양자화 기법을 적용한 DeepSeek-V4.1-Flash-1017 모델을 공개했으며, 양자화 가중치는 Hugging Face의 GGUF 저장소에서 받을 수 있다. 다만 기사 작성자는 llama.cpp에서 이 아키텍처가 아직 지원되지 않는다고 밝혔다. 모델 카드에는 Strata 지원이 언급되어 있지만, 작성자는 원본 Strata가 Qwen3.8-Flash-Next만 지원하므로 실제로는 Strata 기반 포크인 Xolotl 또는 Maya를 가리킬 것으로 보고 있다. llama.cpp 측에서는 원본 아키텍처 지원 풀 리퀘스트(PR #28696, #30817)가 아직 병합되지 않은 상태다.
Moonshot, Kimi K3.1 Pro 출시…가중치는 2026년 11월 4일까지 공개 예정
Moonshot이 Kimi API에 Kimi K3.1 Pro를 공개했다. 아직 오픈 웨이트는 아니지만 Moonshot은 전체 모델 가중치를 2026년 11월 4일까지 공개하겠다고 약속했으며, 이 모델은 Artificial Analysis 점수 55로 오픈 웨이트 계열로는 처음 프런티어 상위권에 근접했다. API 가격은 입력 토큰 100만 개당 2.00달러, 출력 토큰 100만 개당 10달러로 제시됐다. 이는 GPT-6.1 Sol과 같고 Claude Opus 5.5의 절반 수준이다. 더 빠른 'Highspeed' 버전은 2~3배 빠르지만 가격은 두 배이며, 입력 토큰 캐시 적중분만 동일 가격이다. 저자는 LLM 0.32의 llm openai endpoint 명령으로 Moonshot API를 호출해 'pelican riding a bicycle' SVG 프롬프트를 low, medium, max 세 추론 강도에서 실행했고, max 설정 결과물은 발과 페달, 자전거 프레임, 부리가 양호했지만 두 다리가 같은 쪽에 놓였다고 평가했다. Moonshot 자체 벤치마크에서는 Opus 5.5 및 GPT-6 Astra와 대체로 같은 수준이며 일부 벤치마크에서는 앞선다고 한다. Artificial Analysis 점수는 Kimi 55, Claude Opus 5.5 58, Claude Fable 5.1·GPT-6 Astra·Gemini 4 Argon 53이다.
OpenAI 최신 GPT 모델, Google Cloud Model Garden과 Antigravity에 제공 예정
OpenAI와 Google이 합의에 따라 OpenAI의 프런티어 모델이 Google Cloud 서비스에 들어온다. 최신 모델은 몇 주 안에 Google의 Model Garden(200개 이상의 선택지)에 추가되며, GPT 모델은 Google의 에이전트 기반 코딩 도구 Antigravity에도 등장할 예정이다. Model Garden에는 이미 Google의 Gemini 모델과 Mistral, Llama, Gemma 같은 오픈 모델, 그리고 Anthropic의 Claude가 제공되고 있다. Google은 이제 세 가지 주요 폐쇄형 LLM에 모두 접근을 제공하는 유일한 대형 클라우드 사업자라고 밝혔다. OpenAI는 Microsoft가 여전히 주요 클라우드 파트너라고 설명했다. GPT 6 및 6.1 모델군의 Astra, Sol, Luna 전체가 Google Cloud에서 출시된다. Astra가 운영 비용이 가장 많이 들며, Google의 시스템은 성능, 지연 시간, 효율에 따라 워크로드를 LLM 사이에서 동적으로 옮길 수 있도록 지원한다.
LFM2.5-24B-A2B 로컬 실행 테스트 결과: llama.cpp와 LM Studio에서 루프 및 코드 생성 실패 보고
Reddit r/LocalLLaMA 사용자가 LFM2.5-24B-A2B-Q4_K_M.gguf 모델을 로컬에서 테스트한 뒤 성능이 낮다고 보고했다. 작성자는 Hermes 데스크톱에서 Microsoft Garnet용 플러그인 작성을 요청했을 때 깨진 코드가 나왔다고 밝혔다. 작성자는 먼저 llamaampere(llama.cpp를 특정 아키텍처에 맞춰 최적화한 버전)로 모델을 실행했으나 같은 동작을 반복하며 쉬운 작업에서도 실수를 한다고 설명했다. 같은 환경에서 Qwen 3.8 27b Q4 Small은 40~60 tk/s로 만족스러운 결과를 냈다고 비교했다. 작성자는 RTX A4500 카드에서 130 tk/s를 기록했다고 밝혔다. 이후 LM Studio로 옮겨 속도를 희생하는 대신 동작이 안정화됐고, 짧은 대화에서는 대체로 맞는 답을 했다고 적었다. 기사에 적힌 설정은 LM Studio의 엔진과 프레임워크를 최신 버전으로 업데이트했다는 것이다. 작성자는 이 모델이 OpenClaw, Hermes 등 에이전트 하네스에 맞춰 학습됐다는 점을 근거로 Hermes 데스크톱에 연결해 테스트했다. Microsoft의 Redis 클론인 Garnet을 사용하는 간단한 플러그인 작성을 요청했고, ChatGPT가 프롬프트 엔지니어링을 맡아 결과를 GPT Sol로 검토했다. 그 평가는 결과물이 깨진 코드였고 필수 기능이 빠졌으며 종단 간 테스트 없이 검증을 주장했다는 것이다. 템플릿 수정본(Sharp-LFM2.5-Chat-Templates)을 적용해도 결과가 크게 달라지지 않았다고 작성자는 전했다. 작성자는 이 게시물에 대한 해결 방법을 묻고 있다.
DeepSeek DeepInfer 오픈소스 공개: 155T 토큰/일 프로덕션 추론 스택과 캐시 기반 수익성 주장
DeepSeek이 프로덕션 추론 스택 DeepInfer를 오픈소스로 공개했고, 자사 클러스터 기준 하루 155T 토큰 처리와 96% 입력 캐시 적중률 등 운영 수치를 함께 밝혔다. 엔진은 공개됐지만 KV 캐시 관리와 로드 밸런싱 등 핵심 서비스 계층은 아직 빠져 있다. DeepInfer는 vLLM을 기반으로 SGLang과 TRT-LLM의 기법을 더한 추론 엔진으로, 분산 추론, 추측 디코딩, SWA Bounded Replay, NVIDIA 및 Huawei Ascend 플랫폼의 구조화된 출력을 지원한다. 함께 공개된 deepseek-recipe는 공식 API와 호환되는 토큰 인코딩·디코딩 처리를 구현한다. DeepSeek은 보고서에서 최대 72시간 프롬프트 캐싱을 언급했고, 처리량 155T 토큰/일, 입력 캐시 적중률 96%, 평균 첫 토큰 응답 400ms, 생성 속도 230 토큰/초(코딩은 300 토큰/초)를 제시했다. 이 수치들은 DeepSeek 자체 프로덕션 주장이며 독립 검증된 측정치가 아니다. 기사는 이 수치를 바탕으로 오프피크 가격 기준 가속기 시간당 $38 수익과 80% 이상의 추론 마진을 계산했다. vLLM 팀은 자사 벤치마크에서 GB200 기준 디코드 처리량이 DeepInfer 발표치와 6% 이내로 근접한다고 밝혔고, AgentX 결과와 재현 레시피를 공개했다. 이 비교는 DeepSeek의 효율이 기존 오픈소스 엔진으로 접근할 수 없다는 주장을 일부 제한한다. 기사는 이 수익성 수치가 워크로드 구성, 캐시 집계 방식, 하드웨어 비용, 포함된 비용 항목에 따라 달라진다고 지적한다.
결정 모델을 활용한 평가 방법
최근 TypeSafe의 Jev, Perplexity의 Decider, Liquid의 d1, Cloudflare의 Clef, OpenAI의 Decisions API와 같은 결정 모델들이 등장하였다. 이 모델들은 빠르고 저렴한 분류를 제공하며, 자동화된 평가에 있어 LLM 판별자의 대안으로 주목받고 있다. 그러나 기본 결정 임계값 0.50을 사용하면 성능이 저하될 수 있으므로, 각 모델의 성능과 비용을 비교하고 최적의 임계값을 조정하는 것이 중요하다. 예를 들어, OpenAI의 모델은 이 작업에서 두 클래스의 분리를 가장 잘 수행하였다.