메모리 레이어를 따로 두는 것과 컨텍스트 윈도에 이력을 그대로 넣는 것은 뭐가 다른가요?
메모리 레이어를 따로 두는 것과 컨텍스트 윈도에 이력을 그대로 넣는 것은 뭐가 다른가요?
답변 1개
컨텍스트 윈도에 모든 이력을 넣는 방식은 단순하지만 윈도 크기라는 물리적 한계에 부딪힌다. 대화가 길어지거나 세션이 여러 번 이어지면 이전 내용이 결국 잘려 나가고, 그 안에 담긴 정보량에 비례해 토큰 비용도 늘어난다.
메모리 레이어는 무엇을 기억하고 무엇을 요약하거나 폐기할지를 에이전트(agent) 바깥에서 결정한다. 매 요청마다 전체 이력을 통째로 넣는 대신, 지금 필요한 기억만 골라 인출해 컨텍스트에 보탠다. 세션을 넘어서도 사용자별 맥락이 유지되는 점이 가장 큰 차이다.
다만 레이어를 붙인다고 품질이 자동으로 보장되지는 않는다. 저장·요약·인출 정책을 어떻게 설계하느냐가 결과를 좌우하므로, 도입과 함께 그 규칙을 명시적으로 다뤄야 한다.