Epoch AI, 6개 모델로 자사 업무 11개 자동화 테스트…아직 대체 불가 결론, Slay the Spire 벤치마크 90% 승률 달성

The Epoch Brief - October 23, 2026

Epoch AI의 연구원 Kelly Hong과 Greg Burnham은 여섯 개 최신 모델에 Epoch 실제 업무에서 뽑은 11개 과제를 주어 자동화 가능성을 시험했고, 결론은 아직 대체할 수준이 아니라는 것이었다. 같은 시기 Slay the Spire 벤치마크 SpireClimb에서는 최상위 모델이 기본 난이도 런의 90% 이상을 이기며 장기 복합 과제 수행 능력의 빠른 향상을 보여줬다. 테스트에는 그래픽 디자인, 짧은 연구 보고서 작성, 인터랙티브 데이터 도구 구축, AI 데이터센터 연구, 연구 설계의 다섯 영역 11개 과제가 쓰였다. 각 모델은 신규 입사자와 비슷한 맥락과 자체 워크스페이스, Google 계정을 받았고 인간의 도움 없이 과제당 한 번만 시도했다. Claude Fable 5.1과 GPT-6 Astra가 선두에서 거의 동률을 이뤘지만 어떤 모델도 Epoch 업무의 품질 기준을 안정적으로 충족하지 못했다. 폐쇄형 프런티어 모델은 코딩과 데이터 분석처럼 정의가 명확한 과제에서 가장 좋았고, 실험 설계나 결과 해석처럼 넓은 판단이 필요한 개방형 과제에서는 부족했다. 연구진은 현재 모델이 최소한 Epoch에서는 노동자를 대체할 수 없다고 평가했다. SpireClimb은 덱 빌딩 전략 게임 Slay the Spire에서 긴 의사결정 트리를 거치고 화면을 클릭하며 도움 없이 오래 플레이하는 능력을 측정한다. Benjamin Ou와 Simon Chen의 조사에 따르면 6개월 만에 프런티어 모델이 게임을 전혀 깨지 못하던 상태에서 기본 난이도 런의 90% 이상을 이기는 수준이 됐고, GPT-6 Astra는 98%를 기록했다. 최고 난이도에서는 GPT-6.1 Sol이 20%, Astra가 17%를 이겼으며 나머지 모델은 거의 이기지 못했다. 게임이 거의 10년 전에 출시돼 모델의 사전 지식이 점수에 영향을 줬을 수 있어, 올해 출시된 속편 Slay the Spire 2로도 테스트했고 최고 난이도에서 Astra가 35%를 이겼다. 인간 최상위 플레이어는 원작 최고 난이도에서 약 85%, 속편에서 약 95%를 이긴 것으로 추정됐다.