Google Gemini API
Google의 멀티모달 Gemini 모델을 호출하는 API다. 긴 컨텍스트와 이미지, 영상, 오디오 입력을 함께 다룬다.
AI 모델·API 관련 브리핑
Cloudflare의 Workers AI에서 Kimi K 시리즈와 GLM 모델 최적화
Cloudflare의 Workers AI는 Kimi K 시리즈와 GLM 모델을 GPU에서 효율적으로 실행하기 위한 세 가지 기술을 적용했다. KV 캐시를 8비트에서 4비트로 양자화하여 메모리 사용량을 줄이고, GLM 5.2의 모델 가중치를 8비트에서 4비트로 압축하여 메모리 요구량을 40% 감소시켰다. 이러한 최적화는 고객 수를 늘리면서도 비용을 낮추고 모델 정확도에는 변화가 없음을 확인했다.
Kimi K2.6는 KV 캐시 양자화를 통해 메모리에서 처리할 수 있는 토큰 수를 약 686,000에서 1.37백만으로 증가시켰다.
Kimi K3 모델 배포의 어려움과 서버 비용
Moonshot AI의 K3 모델은 오픈소스이지만, 단순히 다운로드하여 개인 컴퓨터에서 실행할 수 없다. K3를 실행하기 위해서는 최소 16개의 H200 GPU가 필요하며, 데이터 센터나 기업 환경에서만 운영 가능하다. K3를 배포하기 위해서는 64개의 가속기 카드가 필요하고, 총 비용은 약 1700만 RMB에 달한다. 전력 소모량도 가정용 전기 설비를 초과할 수 있다. K3는 사이버 보안 능력이 약하며, 최근 평가에서 사이버 공격 개발 능력이 다른 모델에 비해 낮은 것으로 나타났다.
K3 모델을 운영하기 위해서는 최소 64개의 가속기 카드가 필요하며, 이는 상당한 비용과 전력 소모를 요구한다.
알리바바, 미국 AI 모델과 경쟁하는 Qwen3.8-Max 발표
중국의 알리바바가 자사의 가장 크고 강력한 AI 모델인 Qwen3.8-Max를 발표했다. 이 모델은 미국의 Anthropic 및 OpenAI의 시스템과 Moonshot AI의 Kimi K3와 성능이 경쟁한다고 주장하고 있다. 알리바바는 이 모델을 사용자에게 널리 제공할 것이라고 밝혔다.
Qwen3.8-Max는 Anthropic의 Fable 5에 이어 두 번째로 강력한 AI 모델로 평가받고 있다.
문샷AI의 키미 K3와 알리바바의 큐원3.8-Max 공개
문샷AI는 7월 16일 2.8조 파라미터의 오픈웨이트 모델 키미 K3를 공개했으나, 사흘 만에 신규 구독을 닫았다. 이는 예상보다 큰 수요로 GPU가 과부하에 걸렸기 때문이다. 알리바바는 K3 공개 후 사흘 뒤 큐원3.8-Max를 프리뷰로 공개했다. K3는 질문에 맞는 일부만 사용하여 비용을 절감하며, 100만 토큰의 긴 문서도 처리할 수 있다. K3는 종합 지능 평가에서 1,668점을 기록하며 3위에 올랐다.
Kimi K3는 2.8조 개의 파라미터를 가진 모델로, 성능이 미국 모델에 근접하고 있어 중국 AI 모델의 경쟁력을 보여준다.