Octopus, 공유 KV 캐시 기반 단일 모델 멀티에이전트 강화학습 프레임워크 제안

Octopus: One Brain, Many Branches for Latent-KV Multi-Agent Reinforcement Learning

Octopus는 하나의 백본 모델을 공유하는 여러 스레드가 GPU 상의 KV 상태 DAG를 통해 협업하는 단일 모델 멀티에이전트 강화학습 프레임워크다. 기존 방식의 접두사 KV 캐시 중복과 텍스트 요약 재프리필 문제를 줄이는 것을 목표로 한다. 기사에 따르면 Octopus는 fork, read_thread, wait_threads, rewind, commit 다섯 가지 프리미티브로 스레드를 제어한다. 세 가지 핵심 메커니즘은 Zero-Copy Radix Forking, Attention-Only KV Mounting, Packed DAG-GRPO Trainer다. Zero-Copy Radix Forking은 공유 물리 KV 페이지 위의 O(1) 커서 뷰로 브랜치를 생성하고, Attention-Only KV Mounting은 형제 스레드의 터미널 KV 블록을 선형 순환 상태(Gated DeltaNet, Mamba-2)를 우회해 전체 어텐션 레이어에 마운트한다. 이로써 작업 이탈 하이재킹을 57.9%에서 2.7%로 줄였다고 보고됐다. Qwen3.5-4B를 GRPO로 학습한 결과 BrowseComp-Plus에서 49.6%, OpenResearcher에서 51.2%의 정확도를 기록했으며, 학습 처리량 3.3배 향상과 최대 KV 메모리 2.8배 절감을 보고했다.