선형 판별 트리 앙상블을 통한 해석 가능한 다중 모달 분류

Interpretable Multimodal Classification with Linear Discriminant Tree Ensembles

다중 모달 감정 및 행동 분류기를 위한 새로운 프레임워크가 개발되었다. 이 프레임워크는 텍스트, 오디오, 비주얼 스트림을 통합하여 정확성과 해석 가능성을 동시에 달성하는 것을 목표로 한다. 제안된 선형 판별 트리(LDT), 선형 판별 포레스트(LDF), 선형 판별 아다부스트(LDAB) 모델은 Multimodal Transformer보다 F1-mod에서 4.3% 향상되었고, 해석 가능한 다중 모달 기준인 Interpretable Multimodal Routing(IMR)보다 3.0% 높은 정확도를 기록하였다. 또한, 제안된 다중 모달 특징 중요도는 인간 주석자 간의 합의 점수가 기존 방법보다 크게 향상되었다.