Google, Android Bench에 새로운 LLM 추가 및 업데이트
Google updates Android Bench with new LLMs, but Gemini still lags behind
Google은 Android 앱 개발에서 LLM의 성능을 평가하기 위해 만든 Android Bench를 업데이트했다. 이번 업데이트에는 Claude Fable 5, Claude Sonnet 5, Claude Opus 4.8, GLM 5.2, Kimi K2.7 Code, MiniMax M3, Qwen 3.7 Plus, Qwen 3.7 Max 등 8개의 새로운 모델이 추가되었다. 개발자들은 자신의 테스트를 실행하고 피드백을 제출할 수 있으며, Android Bench는 100개의 Android 개발 작업에서 LLM의 성능을 평가하는 것을 목표로 한다.
Android Bench는 LLM의 비용과 효율성을 평가하는 새로운 메트릭을 추가하여 개발자들이 적합한 도구를 선택하는 데 도움을 줄 수 있다.
원문 출처
Ars Technica — AI