Kimi K3.1 Pro 벤치마크 반응 엇갈림과 오픈웨이트 사이버보안 위험 논의

Podcast: Kimi K3.1 Pro, the new cyber reality, and Muse musings

Interconnects의 Nathan Lambert와 Florian이 Kimi K3.1 Pro의 엇갈린 반응과 오픈웨이트 모델의 사이버보안 위험을 다룬 팟캐스트를 공개했다. 두 사람은 Artificial Analysis 지수에서 높은 점수를 받은 모델이 실제 평가에서는 평가가 갈린 이유를 짚었다. Florian은 Kimi 모델이 과거에는 기대에 부응했지만 이번 K3.1 Pro 출시는 이전과 다르다고 말했다. 이번에는 더 큰 소셜미디어 캠페인이 동원되었고, 광고 표기 없이 게시물을 돈 받고 올리게 했다는 주장이 제기됐다. Nathan은 한 사용자가 공유한 홍보 지침 스크린샷에 '유료 홍보라고 말하지 말 것'이라는 문구가 있었다고 전했으며, 이후 이를 확인한 사례는 없다고 덧붙였다. 출시 방식도 바뀌어 과거에는 모델을 공개한 뒤 vLLM을 나중에 패치했지만, 이제는 추론 프레임워크와 추론 제공자가 첫날부터 지원하고 모델 제작사가 가중치 공개 전 약 2주간 독점 접근 기간을 두는 방식이 늘고 있다고 설명했다. K3.1 Pro는 가중치를 11월 4일까지 공개하겠다고 밝혔다. Artificial Analysis 지수에서 K3.1 Pro는 Claude 최신 모델들과 Muse Wonder Full 등과 함께 상위권에 올랐고, Nathan은 Kimi 블로그의 일부 수치가 들쭉날쭉하다고 지적했다. 예로 Terminal-Bench Science에서 GPT-6 Astra보다 20점 뒤처진다고 언급했다. Florian은 Artificial Analysis의 벤치마크가 시간 지평이 짧은 반면 ProgramBench는 훨씬 길고 탐색적인 과제라고 설명했다. 팟캐스트는 이 밖에도 오픈웨이트 모델의 사이버보안 원칙, PHP2Shell과 LiteLLM 보안 사고, 안전장치가 제거된 abliterated 모델의 API 제공 문제를 다룬다.