Realtime-Bench, 실시간 상호작용 과제에서 최신 LLM 성능 평가

Import AI 479: Spacewar; low-latency tasks versus LLMs; Genie 4

Realtime-Bench는 지연 시간에 따라 성공 여부가 갈리는 실시간 게임·웹 과제 50개로 범용 AI 시스템을 평가하는 벤치마크다. 기사 기준 가장 높은 성공률은 벽시계 시간 조건에서 GPT-6 Astra(high)의 36%로, 실시간 과제에서 LLM의 한계가 아직 크다는 것을 보여준다. 벤치마크는 웹 과제 30개(여행, 전자상거래, 서비스, 보안 4개 범주)와 게임 과제 20개(아케이드, 퍼즐, 전략, 시뮬레이션)로 구성되며, University of Texas at Austin, Ohio State University, University of Illinois at Urbana-Champaign, NVIDIA, Northwestern University, Steadyworks 연구진이 만들었다. 세 가지 능력을 측정한다. 시간 상태 인식(RT-Perceive), 남은 시간에 따라 추론 길이와 깊이를 조절하는 적응형 숙고(RT-Deliberate), 상황에 맞게 행동 시점을 고르는 시간 인식 행동 선택(RT-Act)이다. 조건은 실제 지연을 반영하는 벽시계(Wall clock), 임의로 멈출 수 있는 일시정지 시계(Paused clock), 생성된 토큰 수에 따라 환경이 진행되는 토큰 시계(Token clock) 세 가지다. OpenAI, Anthropic, Google, Jev, DeepSeek(V4.1), Moonshot AI(Kimi-K3) 모델이 테스트되었다. 벽시계 조건에서 최고 성적은 GPT-6 Astra(high)의 36%였고, 일시정지 시계에서는 고추론 모델이 70~80%에 가까운 성공률을 보였다. 기사는 이 차이를 들어 지연이 성능을 크게 깎는다는 점을 강조한다.