News
ChaosNLI 데이터셋을 활용한 NLI 모델의 레이블 분포 학습
Metric-Dependent Annotation Saturation for Learning from Label Distributions
주석자가 레이블에 대해 의견이 일치하지 않을 경우, 그 불일치 자체가 신호를 전달하며, 이를 포착하기 위해 필요한 주석자 수는 평가 지표에 따라 달라진다. 연구에서는 ChaosNLI 데이터셋에서 100명의 독립적인 주석자 판단을 기반으로 레이블 분포에 대해 NLI 모델을 미세 조정하고, 메트릭 의존적인 포화 현상을 확인하였다. 3-class NLI 설정에서 엔트로피 상관관계는 모델이 불일치를 유발하는 항목을 식별하기 위해 약 20~50명의 주석자가 필요하며, 분포 일치(KL 발산)는 약 10명에서 포화된다.
NLI 모델의 성능 향상을 위해 필요한 주석자 수를 이해하는 것은 효율적인 데이터 수집 및 모델 학습 전략 수립에 도움이 된다.
원문 출처
Apple Machine Learning Research