RSI-Dojo, LLM 에이전트가 포스트트레이닝을 스스로 수행하도록 학습시키는 실행형 환경

Training LLM Agents to Automate LLM Post-Training with RSI-Dojo

arXiv에 공개된 RSI-Dojo는 LLM 에이전트가 데이터 선택, 모델 학습, 실패 진단, 반복 개선을 직접 수행하도록 가르치는 실행 가능한 모델 학습 환경 모음이다. 연구진은 이를 만들기 위해 논문과 데이터셋, 평가 지표를 자동으로 수집해 실행 환경으로 바꾸는 파이프라인 RSI-Craft를 개발했다. RSI-Craft는 상위 학회 논문을 수집하고 데이터셋과 지표를 통일된 인터페이스로 구성하며 평가 의존성을 재현한다. 이후 데이터 크기, 실행 신뢰성, 변별력 기준으로 과제를 걸러 281개의 시드 모델 학습 과제를 확보했다. 연구진은 개선된 harness로 프론티어 모델의 학습 궤적을 수집하고, 루브릭 기반과 결과 기반 필터링을 거쳐 예시를 남겼다. 이 궤적으로 Qwen3.5-9B와 Qwen3.6-35B-A3B를 미세조정한 결과, RSI-Dojo-9B는 기반 모델 대비 PostTrainBench에서 8.74점, RSI-Dojo-35B-A3B는 16.87점 향상됐다. RSI-Dojo-35B-A3B는 PostTrainBench 29.95점, PostTrainBench-Lite 53.29점을 기록해 GLM-5.2, GPT 5.5 같은 프론티어 모델과 비슷한 성능을 보였다.