모델이 스스로 자기 업데이트를 지시하는 학습 방식: SEAL과 Nested Learning

The Sequence Knowledge - Issue #959: Learning RSI: How Models Learn to Direct Their Own Updates

대화 중 새 지식을 써도 세션이 끝나면 사라질 수 있어, 경험이 모델을 어떻게 바꿀지와 그 결정을 누가 내리는지가 지속 학습의 핵심이다. SEAL은 모델이 스스로 셀프 편집을 생성·적용하고, 업데이트된 모델의 개선 정도로 강화학습을 받도록 해 한 지식 설정에서 질의응답 정확도를 32.7%에서 47.0%로 끌어올렸다고 소개된다. 기사는 문맥 내 기억, 외부 메모리, 파라미터 업데이트를 구분해 기억과 학습은 서로 다른 작업이라고 설명한다. 또한 학습 예시 한 건을 고르는 일이 사실상 연산에 대한 선택이라고 보고, LoRA가 무엇을 해결하고 무엇을 해결하지 못하는지 짚는다. 이어서 여러 시간 척도에 걸쳐 적응을 분산하는 Nested Learning과 Titans를 다루며, 지속 학습자가 모두 관리해야 하는 치명적 망각 문제를 언급한다. 원문 자료가 말하는 것은 특정 API를 가르친 코딩 어시스턴트 예시처럼, 대화 중 문서를 잘 활용하더라도 새 세션에서 그 학습이 사라질 수 있다는 점이다.