TRACE: Transformer Residual Activation Codebook Encoding으로 분산 엣지 추론의 통신 효율성 개선

TRACE: Transformer Residual Activation Codebook Encoding for Communication-efficient Distributed Edge Inference

TRACE는 분산 Transformer 추론에서 통신 병목 현상을 해결하기 위한 프레임워크로, 각 Transformer 레이어의 포스트-어텐션 잔여에 벡터 양자화기(VQ)를 배치하고 코드북 인덱스된 키/값 표현을 미리 계산한다. 추론 중에 교환된 활성화는 압축된 코드북 인덱스로 인코딩되어 수신자가 테이블 조회를 통해 직접 키와 값을 복구할 수 있게 한다. TRACE는 ViT-Base와 ViViT-B에서 최대 1.89%의 정확도 향상과 최대 1.27배의 추론 속도 향상을 달성했으며, 비압축된 시퀀스-병렬 추론에 비해 통신 오버헤드를 최대 22,624배 줄인다.