ThinkJev, 언어 모델 객관식 판단에 생각 단계를 선택 적용하는 빠른·느린 2단계 시스템

ThinkJev: One Thought, Every Budget for Calibrated Typed Decisions

ThinkJev는 하나의 오픈 하이브리드 사고 모델에서 빠른 System 1(즉시 응답)과 느린 System 2(생각 후 응답)를 구성해, 닫힌 선택지 중 하나를 고르는 판단에 생각 비용을 필요한 경우에만 쓰도록 한다. 두 시스템은 같은 선택지 문자의 확률을 읽어 같은 기준으로 비교한다. 기사에 따르면 산술, 계수, 날짜 비교처럼 여러 단계가 필요한 판단은 한 번의 순전파로 확률을 읽으면 자주 틀리고, 생각을 먼저 하게 하면 오류가 대부분 줄지만 결정당 밀리초 대신 수 초가 든다. System 2는 System 1과 같은 캐시된 프롬프트에서 생각을 이어가므로 에스컬레이션할 때 중복 작업이 없다. 목표 오류율 5% 기준으로 Qwen3.5-27B는 테스트 결정 8359개 중 24.5%를 System 1만으로 답했고 실제 오류율은 3.9%였다(Qwen3.5-4B와 9B는 각각 6.5%, 0.0%). 나머지 결정은 답이 확신에 이르면 생각을 멈추는 방식으로 81.6% 정확도를 기록했으며, 항상 생각하는 방식의 82.7%와 비교해 생각 토큰은 72%만 썼다. 공개 벤치마크 JevBench의 공개 항목에서 Qwen3.5-27B는 29.4%에서만 생각하며 정확도는 비교한 두 생각형 API와 구별되지 않았다(탐색적 결과). 코드와 데이터 생성기는 GitHub에 공개되어 있다.