Self-Explainable Latent Reasoning (SELR) 프레임워크 소개

Think in Latent, Explain in Language: Self-Explainable Latent Reasoning

Latent reasoning은 텍스트 기반 Chain-of-Thought (CoT) 대신 효율성을 높이는 방법으로 부각되고 있다. 그러나 이러한 압축된 추론은 해석 가능성을 저해한다. 본 연구에서는 효율적이고 본질적으로 설명 가능한 latent reasoning을 수행하는 Self-Explainable Latent Reasoning (SELR) 프레임워크를 제안한다. SELR은 정확한 최종 답변을 생성하기 위한 Answer Loss와 인간이 이해할 수 있는 추론 단계로 디코딩하기 위한 CoT Loss를 동시에 최적화하는 다중 작업 훈련 목표를 가지고 있다. SELR은 Large Language Models (LLMs)와 Vision-Language Models (VLMs)에서 우수한 토큰 효율성과 정확성을 입증하며, 외부 디코더 없이 자체적으로 설명 가능성을 제공한다.