SRRM, 소형 언어모델의 장문맥 메모리를 검색과 재구성으로 평가하는 벤치마크

SRRM: A Retrieval-Reconstruction Benchmark for Evaluating Long-Context Memory in Small Language Models

소형 언어모델(SLM)이 소비자용 하드웨어에 점점 많이 배포되지만 긴 문맥에서 정보를 얼마나 보존하는지는 충분히 파악되지 않았다. 이에 연구진은 표적 검색과 전역 정보 재구성을 함께 평가하는 경량 벤치마크 SRRM(Simple Retrieval-Reconstruction Memory)을 제안했다. 연구진은 검색 성능과 재구성 성능의 관계를 수치화하는 벤치마크 수준의 지표인 메모리 보존 비율(MPR, Memory Preservation Ratio)도 함께 제안했다. SRRM은 10개에서 100개 사이의 사실 진술을 담은 합성 데이터셋으로 Qwen2.5 0.5B, 1.5B, 3B 모델을 평가했다. 문맥 정보가 늘어날수록 재구성 성능이 검색 정확도보다 훨씬 빠르게 떨어졌으며, 이는 검색만으로는 장문맥 메모리 보존을 설명하기 어렵다는 결과로 제시됐다. 평가 대상 중 Qwen2.5-1.5B는 검색 정확도 86.7%, 재구성 성능 45.7%, MPR 0.53을 기록해 더 큰 Qwen2.5-3B(각각 72.2%, 18.5%, 0.26)를 앞섰다. 연구진은 파라미터 수를 늘린다고 장문맥 메모리 보존이 반드시 좋아지는 것은 아니라고 결론지었다.