Epoch과 METR이 발표한 MirrorCode: AI의 장기 프로그래밍 작업 성능 평가
Import AI 466: The bitter lesson for robotics, AIs complete week-long programming tasks; and OpenAI's accidental AI hacker
Epoch과 METR이 발표한 MirrorCode는 AI 시스템이 인간보다 오랜 시간이 걸리는 프로그래밍 작업을 얼마나 잘 수행할 수 있는지를 평가하는 벤치마크이다. Opus 4.7은 14시간 동안 251달러의 비용으로 작업을 해결했으며, 이는 인간이 2-17주 걸리는 작업으로 추정된다. MirrorCode는 AI가 소스 코드나 웹 접근 없이 CLI만을 통해 소프트웨어 프로그램을 재구현할 수 있는 능력을 평가한다. 25개의 목표 프로그램 중 17개는 완벽한 점수를 기록했으며, Claude Opus 4.7과 GPT-5.5는 gotree 프로그램을 여러 프로그래밍 언어로 성공적으로 재구현했다.
MirrorCode는 AI 시스템이 환경에 대해 스스로 방향을 잡을 수 있는 능력을 보여준다.
원문 출처
Import AI (Jack Clark)