AI 모델·API
AI 모델·API는 Claude, GPT, Gemini 같은 모델을 호출해 쓰는 접점이다. 모델 선택, 컨텍스트 한도, 토큰 가격, 프롬프트 캐싱, 스트리밍, 도구 호출 규격이 여기 묶인다. 모델마다 강점과 과금이 달라, 작업별 라우팅과 캐싱 설계가 비용을 좌우한다.
Qwen3.8-27B Q8_0이 ROG Flow Z13에서 비행 시뮬레이터 생성
사용자는 ROG Flow Z13에서 Qwen3.8-27B Q8_0 모델을 테스트한 결과, 이 모델이 단일 HTML 페이지에서 비행 시뮬레이터를 생성할 수 있었음을 보고했다. 이 과정에서 Lemonade Server와 llama.cpp ROCm을 사용하였고, Q8_0 가중치와 Q8 KV 캐시를 활용하였다. 생성 속도는 약 9-19 tok/s였으며, MTP 수용률은 97-99%에 달했다. 전체 시뮬레이터 생성에는 약 20분이 소요되었다.
Amazon SageMaker HyperPod에서 Curvine을 활용한 대형 LLM을 위한 계층형 KV 캐시 구축
대형 언어 모델(LLM) 추론 시 KV 캐시의 크기와 성능 간의 트레이드오프가 존재한다. Amazon SageMaker HyperPod에서 Managed Tiered KV Cache와 Curvine을 활용하여 GPU와 CPU 메모리를 넘어 공유 NVMe 풀로 캐시 계층을 확장하는 아키텍처를 구축하였다. 이 설정을 통해 여러 복제본 간에 KV 캐시를 재사용할 수 있으며, 테스트 배포에서 최대 100%의 교차 Pod 캐시 적중률과 2.7배의 TTFT 개선을 달성하였다. 이 아키텍처는 P5 인스턴스 대신 G6e 인스턴스에서 실행할 수 있어 비용 절감 효과를 가져온다.
ONESTRUCTION이 AWS GenAIIC와 함께 Ishigaki-IDS 기초 모델 구축
ONESTRUCTION, Inc.는 AWS Generative AI Innovation Center의 기술 자문을 받아 건설 산업의 BIM(건축 정보 모델링) 워크플로우에 특화된 기초 모델인 Ishigaki-IDS를 구축했다. 일본의 건설 부문은 인력 부족 문제를 겪고 있으며, BIM은 설계, 건설 및 유지 관리 팀이 정보를 공유할 수 있도록 지원한다. Ishigaki-IDS는 BIM 전문가가 아닌 실무자도 속성 정보를 검토하고 관리할 수 있도록 장벽을 낮춘다. 이 모델은 데이터 부족 문제를 해결하기 위해 합성 데이터 생성을 활용하고, 세 단계의 훈련 파이프라인을 통해 도메인 특화 모델을 구축한다.
Qwen 3.8 27B, 실제 세계 지식 활용 능력 향상
Qwen 3.8 27B 모델은 이전 버전인 Qwen 3.6에 비해 세부 사항을 잘 기억하고 구현하는 능력이 향상되었다. 예를 들어, Qwen 3.6이 만든 'Galaga' 클론은 원작과의 유사성이 부족했으나, Qwen 3.8은 적의 공격, 애니메이션 효과 등을 포함하여 원작에 가까운 결과물을 생성했다. 이 모델은 세부 사항을 고려하여 더 정교한 결과를 만들어내며, 로컬 모델과 상용 모델 간의 격차를 줄이는 데 기여하고 있다.
Qwen 3.8 27B 출시, 기본 설정으로 과도한 사고 발생
Qwen 3.8 27B는 Alibaba의 Qwen 연구소에서 개발한 27B 파라미터의 비전 가능 LLM으로, Apache 2 라이센스를 따릅니다. 이 모델은 27B 크기로 적당한 사양의 노트북에서 실행할 수 있으며, 이전 모델인 Qwen 3.6 27B보다 성능이 향상되었습니다. 기본적으로 reasoning_effort가 xhigh로 설정되어 있어 복잡한 작업에서 철저한 분석을 요구하지만, 소비자 하드웨어에서 실행하기에는 비효율적입니다. LM Studio의 기본 컨텍스트 제한인 8,192 토큰을 초과하여 262,144 최대 컨텍스트 길이로 모델을 실행한 결과, 과도한 사고 문제를 해결할 수 있었습니다.
중국 AI 스타트업 Zhipu, GLM-5.3 모델로 Anthropic의 Mythos 5 초과
중국 AI 스타트업 Zhipu가 새로운 GLM-5.3 모델을 발표하며 Anthropic의 Mythos 5를 사이버 보안 기준에서 초과 성능을 기록했다고 밝혔다. 이 모델은 코딩 능력에서도 격차를 줄였으며, 중국의 오픈 웨이트 모델이 서구 AI와 동등한 수준에 도달했음을 나타낸다. Zhipu는 지난 6월 이후 빠른 속도로 모델을 개선하고 있으며, 미국 정부는 중국의 AI 발전을 견제하기 위한 계획을 마련 중이다.
Meta, 누구나 다운로드 가능한 AI 모델 Glimmer 출시
Meta는 이번 주에 누구나 다운로드하고 자신의 하드웨어에서 실행할 수 있는 오픈 웨이트 AI 모델 Glimmer를 출시했다. 이는 Muse Spark라는 더 강력한 모델이 API에 잠겨 있는 것과 대조적이다. 마크 저커버그는 AI가 소수의 연구소에 의해 통제되는 것이 아니라 '모두를 위한 것'이어야 한다고 주장하는 편지를 발표했다.
Meta, 누구나 다운로드 가능한 AI 모델 Glimmer 공개
Meta는 이번 주에 누구나 다운로드하고 자신의 하드웨어에서 실행할 수 있는 오픈 웨이트 AI 모델 Glimmer를 출시했다. 이는 Muse Spark라는 더 강력한 모델이 API에 잠겨 있는 것과 대조적이다. 마크 저커버그는 AI는 소수의 연구소에 의해 통제되어서는 안 되며 '모두를 위한 것'이어야 한다고 주장하는 편지를 발표했다.
Qwen3.8-27B 모델로 슈퍼 마리오 클론을 원샷 실행
Qwen3.8-27B 모델이 사무실에서 실행되어 슈퍼 마리오 클론을 원샷으로 처리할 수 있다는 내용이다. Q8 GGUF를 Framework Desktop에서 실행할 수 있지만 속도는 빠르지 않으며, 야간 배치 작업과 백그라운드 작업에 적합하다. MTP 및 기타 양자화 방법을 실험할 계획이다.
Qwen 3.8 27B 출시 관련 메가스레드
Qwen 3.8 27B 출시와 관련된 중복 및 유사 게시물 처리를 위한 메가스레드가 생성되었다. 이 스레드에서는 Quants, Fine-Tunes & Abliterations, Chat Templates, Inference Server Support & Configuration, Experiences, Benchmarks & Model Comparisons에 대한 정보가 다뤄진다. 공식 및 인기 있는 모델 링크도 제공된다.
Z.ai, GLM-5.3 모델 발표 및 성능 비교
Z.ai는 GLM-5.3 모델을 발표했으며, 현재 코딩 플랜에서만 이용 가능하고, 곧 API와 Hugging Face에서 공개될 예정이다. GLM-5.3은 750B 파라미터로 Moonshot AI의 Kimi K3, Claude Fable 5, GPT-5.6-Sol을 초과하는 성능을 보였다. 이 모델은 GLM-5.2의 기본 모델을 기반으로 하여 포스트 트레이닝을 대폭 확장한 것이다.
Gemini 3.7 Flash 업데이트로 GDM 재조명
Gemini 3.7 Flash 업데이트에서 3.5와 3.6 Flash가 Claude 4.8+ 및 GPT 5.5+ 시리즈에 비해 뒤처진 정도를 보여주는 차트가 주목받았다.
Google, Gemini 3.7 Flash 발표
Google은 Gemini 3.7 Flash를 발표하며, 이는 3.6 Flash를 대체하는 모델이다. Gemini 3.7 Flash는 코딩 및 에이전트 성능 개선을 목표로 하며, 이전 Flash 버전보다 코딩 성능이 향상되었다. FrontierCode 1.1 Main 테스트에서 34.4%에서 43.6%로, DeepSWE v1.1에서는 49%에서 65.3%로 상승했다. GDP.pdf 벤치마크는 22%에서 34%로, AutomationBench는 17%에서 30.4%로 증가했다.
GLM 5.3 출시
GLM 5.3이 공식 발표되었다. 자세한 내용은 [공식 블로그](https://z.ai/blog/glm-5.3)에서 확인할 수 있다.
SpaceX의 Grok 4.6 모델 출시 및 성능
SpaceX 팀이 Grok 4.6 모델을 출시했다. Grok 4.6은 1.5T 모델로, Grok 4.5보다 긴 보조 훈련을 거쳤으며, 지식 작업, 일반 코딩, 웹 개발, 컴퓨터 지원 설계 등 다양한 작업에 최적화되어 있다. Grok 4.6은 가격 대비 성능에서 우수한 평가를 받았으며, 입력/출력 토큰당 $2/$6로 경쟁 모델보다 저렴하다. Grok 4.7의 초기 훈련도 이미 완료되었다.
DeepSeek V4 Pro 0813 모델 API 출시
DeepSeek V4 Pro 모델이 API를 통해 출시되었으며, 1.7T 파라미터와 893GB의 가중치가 Hugging Face에서 제공된다. 이전 모델인 DeepSeek V4-Pro와 DeepSeek V4-Flash의 가중치가 공개된 바 있어, 이번 모델의 가중치도 공개될 가능성이 높다.
Qwen 3.8 모델의 Jinja 채팅 템플릿 수정 사항
Qwen은 3.8 모델을 출시했다. 3.8의 주요 추가 기능은 prompt-steered reasoning effort로, <code>reasoning_effort</code>를 <code>xhigh</code>, <code>medium</code>, <code>low</code>로 설정하여 모델의 사고 깊이를 조절할 수 있다. 그러나 공식 템플릿에는 여러 문제가 있으며, 이를 해결한 Jinja 템플릿이 제공된다. 이 템플릿은 3.8의 reasoning effort를 지원하고, 사고 전환 기능을 복원하며, KV Cache를 100% 활용하고, Python dict와 JSON 문자열을 모두 처리할 수 있다.
Azure Content Understanding의 GPT-5 시리즈 지원 확대 및 개선 사항
Azure Content Understanding은 GPT-5, GPT-5.1, GPT-5.2, GPT-5.4, GPT-5.5 시리즈 모델을 지원하며, 문서, 이미지, 비디오 및 음성 분석을 포함한 다양한 작업에 최적화된 파이프라인을 제공한다. 새로운 기초 모델의 도입으로, 총 추론 토큰 사용량이 최대 28% 감소하고, LLM 비용이 최대 25% 절감되며, 신뢰도 점수와 기초 정확도가 각각 최대 14% 및 3% 향상되었다. 모델 선택 가이드를 통해 고객은 예산, 품질, 지역 가용성 등을 고려하여 적합한 모델을 선택할 수 있다.
Alibaba, Qwen3.8-2.4T-A95B 모델의 오픈 가중치 공개
Alibaba는 Qwen3.8-2.4T-A95B(Qwen3.8-Max)라는 가장 큰 오픈 가중치 모델의 오픈 가중치를 공개했다. 이 모델은 총 2.4조 개의 파라미터를 가지고 있으며, 토큰당 950억 개가 활성화된다. 또한, 세밀한 전문가 혼합(MoE) 아키텍처와 전체 및 선형 주의(hybrid of full and linear attention)를 혼합한 구조를 갖추고 있다.
Meta의 Muse Glimmer 모델 소개
Meta는 새로운 30B 모델인 Muse Glimmer를 Apache 2.0 라이선스 하에 공개했다. Muse Glimmer는 DeepSearch QA, MCP-Atlas, 𝛕-Bench, SWE-Bench와 같은 전체 작업 벤치마크에서 높은 성공률을 기록하며, 코드 작성 및 디버깅, 다단계 요청 해결에 최적화되어 있다. 또한, 다양한 함수 호출을 처리하고, 복잡한 워크플로우에서 일관된 계획을 유지하는 다단계 추론 기능을 갖추고 있다.
Meta의 Muse Glimmer 출시: 30B 모델과 120K+ 컨텍스트 윈도우
Meta는 Muse Glimmer를 오픈 소스로 출시했다. Muse Glimmer는 30B 오픈 웨이트 밀집 모델로, 120K 이상의 컨텍스트 윈도우를 갖추고 있으며, 로컬 AI 에이전트 작업을 위해 설계되었다. 이 모델은 NVIDIA의 엣지, 데스크탑, 워크스테이션 AI 플랫폼에서 최적화되어 있으며, 단일 GPU에서 20K 토큰/초의 속도로 데이터를 처리하고 복잡한 작업을 수행할 수 있다.
Muse Glimmer: 30B 오픈 웨이트 모델 출시
Muse Glimmer는 30B 파라미터를 가진 오픈 웨이트 모델로, 로컬 에이전트 워크플로우에 최적화되어 있다. 이 모델은 100개 이상의 언어로 훈련되었으며, 멀티모달 기능을 제공한다. 전체 정밀도에서 30B 모델은 55GB 이상의 메모리를 요구하지만, 4비트로 양자화하여 20GB 이하로 줄일 수 있다. 또한, DFlash 기반의 경량 드래프터를 통해 토큰 블록을 제안하고, 에이전틱 작업에서 최소한의 성능 저하로 작업을 수행할 수 있다.