불균형 데이터셋에서의 마진 컨포멀 예측의 한계와 클래스 조건 수정
A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It
컨포멀 예측은 약물 발견에서 모델 신뢰성을 평가하는 데 사용되며, 선택한 오류율 alpha에 따라 실제 레이블을 포함하는 예측 세트를 반환한다. 그러나 불균형 데이터셋에서는 마진 컨포멀 예측이 소수 클래스의 커버리지를 심각하게 저하시킨다. 네 개의 데이터셋에서 소수 클래스의 커버리지가 혈뇌 장벽 침투에서는 64.8%, 임상 시험 독성에서는 4.2%로 떨어졌다. 클래스 조건 컨포멀 예측(Mondrian)은 모든 데이터셋에서 소수 클래스 커버리지를 목표로 회복시키며, 예측 세트 크기의 적당한 증가로 이를 달성한다.
클래스 조건 컨포멀 예측은 불균형 데이터셋에서 소수 클래스의 커버리지를 회복하여 예측의 신뢰성을 높인다.
원문 출처
arXiv cs.LG (머신러닝)