C$^2$MOE: 불완전한 다중모달 감정 학습을 위한 일관성과 상호보완성 기반 전문가 혼합 프레임워크

C$^2$MOE: Consistency and Complementarity-guided Mixture of Experts for Incomplete Multimodal Emotion Learning

C$^2$MOE는 불완전한 다중모달 감정 학습을 위한 새로운 프레임워크로, 일관성과 상호보완성 요소를 통해 모델 성능을 향상시킨다. 이 접근법은 다중모달 지식을 일관성과 상호보완성으로 분해하고, 각 모달리티의 예측 가능성을 극대화하며 조건부 엔트로피를 최대화하여 모달리티 고유의 단서를 활용한다. C$^2$MOE는 결측 모달리티에 대한 강력한 보간을 위해 이중 분기 예측 메커니즘을 도입하고, 각 전문가의 출력에 중요도를 동적으로 할당하는 학습 가능한 재가중치 모듈을 사용한다. 여러 MERC 벤치마크에서 C$^2$MOE는 기존의 최첨단 방법들을 지속적으로 초월하는 성능을 보였다.