임상 안전성 평가에서 쌍별 선호의 신뢰성 부족

Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

이 연구는 MOOVE 플랫폼에서 수집된 26,804개의 쌍별 판단을 통해 13개의 대형 언어 모델(LLM)의 임상 안전성 평가에서 의사들의 쌍별 선호가 신뢰할 수 없는 신호임을 보여준다. 의사들은 $[-2, +2]$의 척도로 점수를 매겼으며, 부정적인 값은 임상적으로 안전하지 않거나 오해를 일으킬 수 있는 내용을 나타낸다. 연구 결과, 쌍별 선호에서 높은 순위를 기록한 모델도 여전히 임상적으로 의미 있는 실패를 보일 수 있으며, 이러한 실패는 전문 분야에 따라 불균형적으로 분포되어 있다. 또한, 쌍별 선호와 루브릭 기반 피드백을 결합한 임상 조정 선호 순위를 도입하여 보다 안전성을 고려한 순위를 제공한다.