Epoch AI, 자사 실제 업무 9개 중 9개를 AI에 맡겨 본 자동화 평가 결과: 최고 모델 평균 65%

We tried to automate Epoch

Epoch AI가 자사 직원이 수행하는 그래픽 디자인, 연구 계획 등 실제 업무를 AI에 맡겨 평가한 결과, 최고 성능 모델인 Claude Fable 5.1과 GPT-6 Astra의 평균 점수는 65%였다. 벤치마크 점수와 실제 업무 수행 능력 사이의 격차를 줄이려는 시도라는 점에서 주목할 만하다. Epoch는 기존 벤치마크가 AI의 실제 경제적 효과를 제대로 반영하지 못한다고 보고, 2025년 2월 Anson Ho 연구원이 자신의 업무를 자동화하려 시도한 실험을 확장해 Epoch Automation Reports를 만들었다. 이 보고서는 그래픽 디자인과 연구 프로젝트 계획처럼 Epoch에서 정기적으로 수행하는 업무를 대상으로 AI를 사람과 같은 기준으로 평가하며, 맥락 수집과 도구 사용, 복잡성 처리를 요구한다. 점수는 사람 직원이 평가받는 루브릭 항목 중 충족된 비율이며, 100%가 되어야 해당 업무를 자동화해도 된다고 본다. 평가에서 GPT-6 Astra는 파일럿 실험 중 토큰 예산을 너무 낮게 설정해 실행의 22%가 답을 반환하지 못했는데, 이를 설정 오류가 아니라 모델 능력에 관한 핵심 발견으로 취급했다. Fable 5.1은 Epoch 스타일 예시를 제공받고 그래픽을 설계했을 때 정보가 과도하게 담긴 복잡한 차트를 만들었고, 같은 과제를 받은 Epoch 디자이너는 깔끔하고 단순한 차트를 제작했다. Epoch는 명확히 정의된 작업(예: 코딩, 데이터 분석)에서 AI가 더 잘 수행하고, 예시에서 패턴을 찾거나 판단이 필요한 개방형 작업에서는 부족하다고 밝혔다. 65%는 사람 검토 없이 쓸 수 없는 수준이므로 아직 실패한 과제로 간주되며, 기사는 AI가 100% 기준을 넘는 과제가 늘어나면 경제적 효과가 커질 것이라고 설명했다. 실제로 Fable 5.1이 대부분 한 번에 허용 가능한 차트를 생성할 수 있게 되어, Epoch는 기본 차트 생성 과제를 평가에서 제외하고 일상 업무에서 이 단계를 일부 자동화했다.