언어 모델 에이전트 간 잠재적 커뮤니케이션: 채널, 정렬 및 텍스트의 한계

Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

다중 에이전트 시스템(MAS)은 명확한 텍스트 메시지 전송을 통해 상호 통신을 수행한다. 연구에 따르면, 대형 언어 모델(LLM) 에이전트가 텍스트를 통해 소통할 때 정보 손실이 발생하며, 이는 희소 오토인코더(SAE) 기능 분석을 통해 정량화되었다. SAE-희소 채널은 밀집 잠재 채널에 비해 28배 압축 시 99.4%의 탐지 정확도를 유지하는 반면, 텍스트 채널은 80.4%에 그쳤다. 또한, Procrustes 정렬을 사용한 경우 Llama와 Mistral 간의 92%의 상위 1회 검색률을 보였다. 텍스트 직렬화는 88%의 SAE 기능을 파괴하며, 이는 정체성 교체로 인한 손실로 분석되었다. 잠재 채널은 교차 언어 개념 작업에서 텍스트 채널과 일치하지만 초과하지는 않았다.