Elorian의 시각 추론 모델 Glimpse, DecoyCount 벤치마크에서 50.48% 기록

Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning

Elorian이 첫 시각 추론 모델 Glimpse를 공개했고, 함께 발표한 DecoyCount 벤치마크에서 Glimpse는 내부 테스트 기준 50.48%를 기록해 비교된 모델 중 유일하게 50%를 넘었다고 밝혔다. 기사는 프런티어 모델들이 DecoyCount에서 모두 50% 미만이었다는 점을 함께 전한다. DecoyCount는 언어 모델이 실제로 객체를 세는지, 아니면 시각적 지름길과 대체 휴리스틱에 의존하는지를 검사하는 벤치마크로, Elorian이 AI 데이터 회사 Mercor와 함께 발표했다. 관련 논문에 따르면 프런티어 모델 중 최고점은 GPT-6 Astra의 43.17%였고, Gemini-3.8-flash는 32.71%, Qwen3.8-max는 28.31%, Claude-Fable-5.1은 25.22%였다. Glimpse는 1,660개 항목에서 단일 실행으로 50.48%를 얻었으며, 논문의 여섯 모델은 보고된 설정에서 각각 세 번 실행한 평균값이라는 차이가 있다고 Dai는 설명했다. Dai는 평가 이미지와 텍스트를 학습에서 제외했고 오염 검사에서 확인된 중복은 없었다고 답했다. DecoyCount는 시각과 추론을 함께 검사하는 방식이라고 Dai는 설명했다. 거울 앞의 사과 예시처럼 모델이 사과를 아예 놓치는 시각 문제인지, 사과와 반사상을 둘로 세는 추론 문제인지를 최종 숫자만 보는 기존 벤치마크와 달리 구분할 수 있다는 것이다. Glimpse의 결과는 에이전트나 도구 하네스 없이 단일 실행으로 나온 값이라는 점도 기사에 명시되어 있다.