AgentKVShift: 에이전틱 메모리 시스템을 위한 효율적인 KV 캐시 재사용
AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems
AgentKVShift는 메모리 증강 LLM 에이전트가 에이전틱 메모리 시스템을 통해 수백 번의 상호작용 동안 맥락을 유지하도록 돕는 훈련 없는 KV 잔여 보정 방법이다. 이 방법은 각 메모리 단위에 대해 작동하며, 재사용된 토큰을 단일 가중 보정으로 수정할 수 있다. AgentKVShift는 3B에서 32B 파라미터를 가진 네 가지 오픈소스 LLM과 두 가지 장기 에이전틱 메모리 벤치마크에서 10-30%의 캐시만 새로 고쳐도 거의 완전한 재계산 성능을 달성하며, A100에서 KV 재사용이 없는 경우보다 2-3.5배의 프리필 속도 향상을 제공한다.
AgentKVShift는 5배 낮은 재계산으로 거의 완전한 성능을 달성할 수 있어, 효율적인 메모리 관리가 가능하다.
원문 출처
arXiv cs.AI (인공지능)