대형 언어 모델의 응답 분류를 위한 동적 시스템의 구별 가능성

Guarantees on Dynamical System Distinguishability for LLM Token Generation

최근 연구에 따르면, 대형 언어 모델(LLM)의 응답은 토큰 임베딩을 블랙박스 동적 시스템(DS)의 경로로 모델링하고 두 DS의 예측 잔차를 비교함으로써 구별할 수 있다. 이 연구는 분류 작업을 두 개의 확률적 선형 DS 간의 이항 가설 검정으로 형식화하고, 두 DS의 정적 한계 분포 간의 총 변동 거리가 동역학이 크게 다르더라도 임의로 작아질 수 있음을 보여준다. 또한, DS 기반 분류의 오분류 확률이 시퀀스 길이 L에 대해 지수적으로 감소하며, 이 감소는 두 DS 간의 스펙트럼 거리를 포착하는 동적 구별 가능성 양인 δ²에 의해 결정됨을 입증하였다.