AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
Claude Opus 5.5 모델 소개 및 평가
Claude Opus 5.5가 인공지능 분석 및 표준 벤치마크에서 가장 강력한 모델로 소개되었다. Anthropic은 Opus 5.5가 Fable 5.1과 동등하거나 더 나은 성능을 보이며, Opus 5보다 저렴하다고 주장하고 있다. Opus 5.5는 화학 및 생물학 무기 평가에서 Mythos 5.1과 유사한 점수를 기록하며, CB-1 능력을 갖추고 있지만 CB-2 능력은 부족하다고 평가되었다. 새로운 평가 방식으로는 유용한 테스트를 위한 자동화된 평가가 포함된다.
llm 0.36 출시: 새로운 OpenAI 모델 및 대화 지원 기능
llm 0.36이 출시되었으며, 새로운 OpenAI 모델인 gpt-6-sol과 gpt-6-luna가 추가되었다. 모델 플러그인은 이제 단일 턴 프롬프트만 수용하는 모델에 대해 supports_conversation = False를 선언할 수 있으며, 이러한 모델이 보조 또는 도구 기록을 받을 경우 llm.ConversationNotSupported 오류가 발생한다. 또한, llm logs의 Markdown 출력에서 추론 흔적이 <details><summary> 태그로 감싸지게 되었다. 이 버전에는 다섯 명의 새로운 기여자로부터의 버그 수정도 포함되어 있다.
Claude Opus 5.5 출시, 비용 40% 절감 및 성능 향상
Anthropic이 Claude Opus 5.5를 출시했다. 이 모델은 Claude Fable 5.1 수준의 성능을 제공하면서 Opus 5보다 40% 저렴하게 운영된다. Opus 5.5는 속도가 약 30% 빨라졌으며, 중요한 정보를 앞에 배치하고 사용자 작성 규칙을 따르는 개선된 작문 기능을 갖추고 있다. 가격은 1M 입력/출력 토큰당 $4/$20로 20% 인하되었지만, 더 많은 토큰을 사용할 수 있어 비용이 증가할 수 있다.
Anthropic의 Claude 5.5 모델 출시
Anthropic의 새로운 Claude 5.5 모델이 출시되었다. 이는 Claude 5.5 패밀리의 첫 번째 모델이다.
xAI의 Grok 4.6, Amazon Bedrock에서 출시
xAI의 Grok 4.6이 2026년 8월 18일 Amazon Bedrock에서 출시되었다. 이 모델은 500K 토큰 컨텍스트 윈도우를 제공하며, 낮음, 중간, 높음, 매우 높음의 네 가지 수준에서 구성 가능한 추론 노력을 지원한다. Grok 4.6은 장기 실행 에이전트 및 상호작용, 시각적 작업에 중점을 두고 있으며, 복잡한 작업을 여러 단계에 걸쳐 수행할 수 있도록 설계되었다. 또한, Grok 4.6은 여러 평가 기준에서 높은 성능을 기록하고 있으며, 안전성 측면에서도 개선된 기능을 갖추고 있다.
TypeSafe AI, 새로운 LLM 모델 Jev 발표
TypeSafe AI는 'System One 모델'이라고 불리는 새로운 모델 카테고리의 첫 번째 예시인 Jev를 공개했다. Jev는 텍스트 입력을 받아 카테고리, 예/아니오 질문, 평가 및 관련 신뢰 점수에 해당하는 부동 소수점 숫자를 출력한다. Jev는 입력에 대해서만 요금을 부과하며, 첫 모델의 입력 가격은 백만 토큰당 0.042달러로 OpenAI의 GPT-5 Nano보다 저렴하다. Jev API는 단일 문서와 여러 질문을 동시에 처리할 수 있으며, 분류 작업에 적합하다.
Diogo Almeida가 소개한 Jev의 혁신적 기능과 목표
Diogo Almeida는 Jev를 소개하며, 이 모델이 소프트웨어를 위한 시스템 원 모델로 설계되었다고 밝혔다. Jev의 핵심 혁신은 'Reinforcement Learning for Calibrated Decisions'로, 이는 신뢰성 문제를 해결하기 위해 인간 피드백 대신 확률적으로 정직한 답변을 최적화하는 기술이다. Jev는 다양한 사용 사례를 지원하며, 코딩 에이전트와 관련된 공식 가이드도 제공된다.
제브(Jev): 판단 전용 AI 모델 공개
텍스트 생성 기능을 버린 AI 모델 ‘제브(Jev)’가 타입세이프 AI(TypeSafe AI)에 의해 15일 공개되었다. 이 모델은 소프트웨어 백엔드에 직접 이식 가능한 구조화된 판단(Typed Decisions)만을 내리는 방식으로 개발되었으며, 해커뉴스에서 큰 반응을 얻었다.
Jev, LLM과 다른 새로운 AI 모델
Jev(제브)는 '글을 쓰지 않는 AI'로, 기존 LLM의 개선판이 아닌 LLM이 하지 못하는 일을 수행하기 위해 개발된 다른 종류의 모델이다. Jev는 9월 15일에 공개되었으며, 창업자는 OpenAI에서 RLHF 연구를 했던 Diogo Almeida이다. 현재 Jev는 웨이트리스트로 순차 개방 중이며, OpenRouter를 통해 바로 사용할 수 있다.
Claude Fable 5.1의 기능 및 가격 변화
Claude Fable 5.1은 이전 모델보다 개선된 코딩, 데이터 분석 및 디자인 기능을 제공하며, 캐시 읽기 가격이 1달러에서 0.25달러로 인하되어 일반적인 사용 비용이 25% 감소한다. Fable 5.1은 코드 단순화, 오류 인정, 대화의 즐거움 등에서 긍정적인 피드백을 받고 있으며, 생물학적 안전 장치의 개입이 85% 감소했다. 또한, Fable 5.1은 비디오 생성 기능을 지원한다.
Prism-LM Bonsai 2 모델, Qwen3.8 벤치마크에서 91.5% 달성
Prism-LM이 Qwen3.8 기반의 Bonsai 2 QAT 모델을 출시했다. 이 모델은 평가에서 약 91.5%의 성능을 기록하며, 처리량과 품질 간의 균형을 잘 맞추고 있다. Bonsai 2는 Qwen3.8 생태계에서 중요한 부분이 되었으며, 동일한 평가 방법론을 사용하여 다른 모델들과 비교할 수 있는 기준점을 제공한다.
Amazon Bedrock에서 Kimi K3 출시
Moonshot AI의 Kimi K3가 Amazon Bedrock에서 제공되며, 2.8조 개의 파라미터를 가진 최초의 오픈 모델이다. Kimi K3는 1백만 토큰의 컨텍스트 윈도우와 함께 네이티브 비전 기능을 결합하고, Kimi K2에 비해 약 2.5배의 스케일링 효율성을 제공한다. 또한, Kimi K3는 명시적 프롬프트 캐싱을 지원하여 모델 호출 간 컨텍스트 재사용 시 지연 시간과 입력 비용을 줄일 수 있다.
XingChen-AGI의 Xing4.0-29B-A4B 모델 소개
Xing4.0-29B-A4B는 중국 텔레콤 인공지능 기술 회사에서 개발한 차세대 대형 언어 모델로, 총 29B 파라미터를 가지며, 토큰당 4B가 활성화된다. 이 모델은 256K의 컨텍스트 길이를 기본으로 지원하며, 512K로 확장 가능하다. Ascend NPU 플랫폼에서 MindSpore 프레임워크를 사용하여 훈련된 최초의 모델로, 복잡한 엔지니어링 작업에 최적화되어 있다. 또한, 다단계 계획, 도구 호출 및 복잡한 추론 체인 실행을 지원하는 에이전트 지향 아키텍처를 갖추고 있다.
TypeSafe의 System One 모델, 기존 LLM보다 100배 빠르고 200배 저렴
TypeSafe가 발표한 System One 모델은 기존의 작은 최전선 LLM보다 100배 더 빠르고 200배 더 저렴하다고 전해진다. 이 모델은 코드 작성이나 추론을 하지 않지만, 병렬 샘플링, 환각 없음, 보정 기능을 제공하며, RLCD(보정된 결정) 방식으로 훈련되었다.
오픈 웨이트 모델 성능 비교 및 테스트 방법
LLM 제공사의 API 기반 서비스는 개발자가 생성형 AI 애플리케이션을 시작할 때 간단한 방법이지만, 보안 요구가 높은 환경에서는 오픈 웨이트 모델을 직접 구동하는 것이 필요할 수 있다. 테스트는 엔비디아 RTX PRO 6000 GPU 4장을 사용하여 gpt-oss-20b, gpt-oss-120b, Qwen3.8-27B, Gemma4:31b, Mistral-Small-4-119B 모델을 비교하였다. 첫 번째 테스트에서 gpt-oss-20b는 약 250 tokens/s, gpt-oss-120b는 약 184 tokens/s를 기록했으며, Qwen3.8-27B는 약 26 tokens/s, Gemma4:31b는 약 23 tokens/s로 나타났다.
토스의 LLM 평가 기준과 Toss Benchmark 소개
토스는 LLM의 성능을 평가하기 위해 Toss Benchmark를 구축하였다. 이 벤치마크는 한국어 범용 성능과 토스 도메인 성능을 함께 평가하며, 실제 업무에서의 모델 성능을 확인하기 위한 기준을 제공한다. 토스는 LLM을 상품 카탈로그 생성, 카드 약관 분석, 광고 검수 등 다양한 업무에 활용하고 있다. 또한, 모델의 성능은 언어와 추론 설정에 따라 달라질 수 있으며, 한국어 환경에서의 평가가 필요하다.
CrofAI, OpenRouter를 통한 모델 라우팅으로 사기 논란에 휘말리다
CrofAI는 저렴한 가격으로 인퍼런스 서비스를 제공한다고 주장했으나, 실제로는 OpenRouter를 통해 더 저렴하거나 성능이 낮은 모델로 요청을 라우팅하는 방식으로 운영되었다. 예를 들어, 비싼 모델인 kimi-k3는 $2/$10의 가격으로 판매되었지만, 실제로는 GLM 5.3 Flash로 라우팅되어 13.3배의 입력 가격과 20배의 출력 가격을 부과했다. CrofAI는 서비스 중단을 발표하고 환불을 약속했으며, 이후 모든 온라인 존재를 삭제했다.
Nemotron 3 Ultra에서 2.5배 더 많은 사용자 지원을 위한 풀스택 NIM 최적화
대형 언어 모델을 배포하는 것은 생산 준비 완료의 첫 단계일 뿐이다. 생산 팀은 가능한 많은 동시 사용자를 지원해야 하며, 이를 위해 GPU 인프라를 활용하면서도 응용 프로그램의 반응성을 유지해야 한다. 이러한 균형은 긴 프롬프트와 단계 간 재사용되는 맥락이 있는 에이전틱 AI 작업에 더욱 중요하다.
Amazon SageMaker Inference의 접두사 인식 라우팅 도입
Amazon SageMaker Inference는 요청의 시작 부분을 분석하여 동일한 접두사를 가진 요청을 같은 인스턴스로 라우팅하는 접두사 인식 라우팅 기능을 도입했다. 이 기능은 Llama 3.1 70B 모델을 사용한 벤치마크에서 P50 첫 토큰 시간(TTFT)을 최대 77% 단축하고, 처리량을 최대 16% 증가시켰으며, KV 캐시 적중률을 약 25%에서 80% 이상으로 향상시켰다. 또한, 요청이 인스턴스에 균등하게 분산되지 않도록 하여 캐시의 효율성을 높인다.
Amazon SageMaker HyperPod의 모델 캐싱으로 추론 대기 시간 단축
Amazon SageMaker HyperPod에서 대형 언어 모델을 배포할 때, 요청한 포드가 준비되기까지의 시간은 주로 두 가지 다운로드 과정에 의해 지연된다. 모델 캐싱 기능이 도입되어 모델 가중치와 컨테이너 이미지를 미리 클러스터 노드에 로드함으로써, 포드 시작 시 로컬 NVMe 저장소에서 약 7 GB/s 속도로 데이터를 읽을 수 있게 되어, 포드가 트래픽을 서비스하는 데 걸리는 시간이 몇 분으로 단축된다.
Astra 모델, Fable 5.1보다 큰 발전 이룩
Astra는 Fable 5.1보다 큰 발전을 이루었으며, 3D 작업과 게임 관련 작업에서 뛰어난 성능을 보인다. 많은 벤치마크에서 이전 모델들보다 현저한 성능 향상을 보여주고 있다. Astra는 컴퓨터 사용과 하위 에이전트 조정에서도 우수하며, OpenAI는 Astra보다 한 단계 높은 내부 모델을 개발 중이라고 발표했다.
Amazon Bedrock에서 OpenAI 모델 선택을 위한 벤치마크 결과
조직들이 생성 AI 애플리케이션을 구축할 때, 모델을 비교하는 일반적인 방법은 백만 토큰당 가격이다. 그러나 실제 작업에서는 결과를 구매하며, 이 과정에서 모델의 정확도와 필요한 토큰 수, 대화의 턴 수 등이 비용에 영향을 미친다. 본 포스트에서는 Amazon Bedrock에서 OpenAI 모델(gpt-5.6-luna, gpt-5.6-terra, gpt-5.6-sol)과 OpenAI API의 비용 효율적인 모델(gpt-5.4-mini, gpt-5.4-nano)의 성능을 비교하는 오픈 소스 벤치마크 결과를 공유한다. 각 모델의 정확도와 비용을 측정하여, 실제 작업에서의 성과를 평가하는 방법을 제시한다.
Qwen3.8-27B-Humanlike-Chat: 현실적인 인간 대 인간 대화를 모방한 모델
Qwen3.8-27B-Humanlike-Chat 모델은 125,217개의 인간 대 인간 메시지를 포함한 데이터셋으로 훈련되었으며, 대화의 자연스러움을 높이기 위해 설계되었다. 이 모델은 일반적인 AI 어시스턴트의 느낌을 줄이고, 대화에서 더 짧고 덜 다듬어진 응답을 제공한다. 훈련된 모델은 huihui-ai/Huihui-Qwen3.8-27B-abliterated 위에 rank-256 LoRA를 적용하였고, 체크포인트 863에서 테스트되었다. 또한, OpenAI 호환 엔드포인트도 제공된다.
Qwen 모델을 활용한 대화형 챗봇 설정 방법
Qwen 모델의 인기로 인해 일반 대중이 모델에 대해 잘 알지 못한다는 점이 지적되었다. 모델을 특정 역할로 설정하고, 그에 맞는 대화 예시를 작성하면 대화 파트너로서의 효과를 높일 수 있다. 또한, 모델이 대화에서 어떻게 반응해야 하는지를 명확하게 지시하는 것이 중요하다. 예를 들어, John Llama라는 캐릭터를 설정하고 그에 대한 특성과 기술적 제약을 명시하는 방법이 제안되었다.