memt-1.0, 게이티드 DeltaNet-2와 Mixture-of-Storage로 에이전트 메모리를 모델 내부에 구현, 128k 컨텍스트에서 저장 공간 66배 절감

memt-1.0 architecture breakdown gated deltanet-2, mixture-of-storage, and 66x smaller storage footprint for agent memory [D]

memt-1.0은 추가 전용 프롬프트 누적이나 외부 RAG 대신 게이티드 DeltaNet-2 기반의 토큰 단위 메모리 업데이트와 Mixture-of-Storage(MoS) 계층을 모델 계산 계층에 직접 넣은 메모리 네이티브 아키텍처다. 기사에 따르면 128k 토큰 이력에서 memt-1.0-nano는 전체 컨텍스트 KV 캐시 방식 대비 약 1.86배의 엔드투엔드 추론 속도 향상과 66배의 영구 저장 공간 감소를 보였다. 기사는 기존 에이전트가 과거 실행 로그를 원문 텍스트로 검색해 컨텍스트 창을 부풀리는 반면, memt-1.0은 다중 턴 에이전트 작업 중 검색된 절차적 경험을 모델 가중치 또는 상태로 지속적으로 내재화한다고 설명한다. 학습은 340억 토큰 규모의 지속 사전학습과 사후학습의 2단계 파이프라인으로 이루어지며, 파라메트릭 메모리 계층 학습에서 흔히 생기는 기본 LLM 성능 저하를 줄여 일반 추론 능력을 유지하면서 기존 파라메트릭 메모리 베이스라인보다 높은 성능을 낸다고 기사는 밝힌다. 장기 과제를 수행하는 에이전트를 만드는 개발자라면 게이티드 DeltaNet 및 MoS 같은 아키텍처 수준 업데이트 계층으로 상태를 내재화하는 방식이 KV 캐시 메모리 병목을 우회하는 방향인지 검토해볼 만하다.