Amazon SageMaker AI의 멀티턴 강화학습(MTRL), Wordle 예제로 보는 에이전트 학습 파이프라인

Multi-Turn Reinforcement Learning on Amazon SageMaker AI: A hands-on guide

Amazon SageMaker AI의 Multi-Turn Reinforcement Learning(MTRL)은 여러 단계의 행동 결과에 대한 보상만으로 모델을 학습시킨다. 이 글은 Wordle을 예제로 AgentCore 배포부터 학습, MLflow 모니터링, 평가까지의 전체 흐름을 다룬다. SageMaker AI는 Amazon Bedrock AgentCore 등에 호스팅된 에이전트에 프롬프트를 보내고, 에이전트는 학습 중인 정책 모델을 호출해 여러 턴에 걸쳐 환경에서 행동한 뒤 에피소드가 끝날 때 보상 하나를 돌려준다. 정답 궤적을 지정할 필요 없이 결과를 채점하는 방식만 정의하면 된다. 에이전트, 환경, 보상 함수는 AgentCore에 배포되는 하나의 Python 파일에 담기며, GRPO가 같은 단어에 대한 여러 롤아웃의 보상 분산을 이용해 LoRA 어댑터를 갱신한다. 보상은 결과 중심으로, 정답을 맞히면 속도에 따라 1.05~1.55, 틀리면 -0.5, 유효한 추측을 한 번도 하지 못하면 -1.5가 주어진다. 예시 실행에서는 gpt-oss-20b의 보류 단어 정답률이 기본 추론 강도에서 61%에서 84%로, 학습에 쓰인 낮은 추론 강도에서 15%에서 69%로 올랐고 학습 토큰 비용은 약 339달러였다. 기사는 사용 가능한 기반 모델과 리전으로 Amazon Nova 2 Lite(us-east-1, us-west-2)와 GPT-OSS-20B 등을 제시한다. 데이터셋과 에이전트, 학습된 모델은 사용자의 AWS 계정 안에 머물며 기반 모델 학습에 사용되지 않는다고 명시되어 있다. 코드는 aws-samples 저장소에 공개되어 있다.