테스트 타임 후보 선택을 위한 측면별 쌍대 토너먼트(APT) 기법

Aspect-wise Pairwise Tournaments for Test-Time Selection

LLM 추론을 개선하려고 여러 후보 해답을 생성한 뒤 하나를 고르는 best-of-n 샘플링에서, 후보 선택 방식을 다룬 논문이다. 제안된 Aspect-wise Pairwise Tournaments(APT)는 후보를 개별적으로 채점하지 않고 두 후보씩 비교하는 단판 토너먼트 방식이며, 각 대결은 여러 기성 측면 검증기(aspect verifier)의 투표로 결정된다. 각 측면 검증기는 자기 측면(aspect) 기준으로 두 후보 사이의 선호를 표현하며, 측면은 자연어로 지정된다. 저자들은 다섯 개 도메인과 세 개의 생성기 LLM에서 APT가 다중 측면 이진 승인, self-consistency, 보상 모델 검증보다 나은 결과를 보였고, 개방형 과제에서 이득이 가장 컸다고 보고했다. 같은 측면에 대한 이진 승인이나 같은 예산의 일반 쌍대 판정기는 APT에 미치지 못했다고 한다. 어떤 구성 요소도 학습되지 않으며, 측면을 자연어로 지정하므로 프롬프트를 고쳐 새 도메인에 옮길 수 있다고 설명한다. 또한 후보를 다시 생성하지 않고도 사용자가 중시하는 속성 쪽으로 선택을 조정할 수 있다고 밝혔다.