커리큘럼 학습 기반 심층 강화학습으로 원거리 로켓 자율 수직 착륙 구현

Curriculum-Driven Deep Reinforcement Learning for Autonomous Far-Range Rocket Landing

재사용 발사체의 자율 수직 착륙을 위해 3단계 커리큘럼, 비평가 워밍업, 리허설 메커니즘을 결합한 심층 강화학습 프레임워크가 제안됐다. 에이전트는 수평 거리 1,000~1,500 단위에서 출발해 연착륙하도록 학습된다. 100,000 에피소드 평가에서 제안 정책의 성공률은 99.98%, 베이스라인은 68.31%로 보고됐다. 기존 강화학습 접근법은 평탄한 학습 방식과 지나치게 단순화된 초기 조건에 의존해 실제 적용 범위가 제한된다는 점이 지적됐다. 이 연구는 이를 해결하기 위해 회전 행렬 3 X 3 전체를 포함한 고차원 관측 벡터를 사용하고, 보상 함수를 재설계했다. 재설계된 보상 함수는 스텝별 보상 크기를 O(1)로 제한하며, 진행도 항이 궤적 전체에서 이동한 누적 거리를 반영한다. 평가에서 제안 정책은 초기 연료 용량의 69.1%를 유지했고, 착륙 패드 중심으로부터의 평균 최종 거리는 7.07 단위로 베이스라인의 13.10 단위보다 짧았다. 착륙 시각화 영상은 Video 1과 Video 2로 제공된다.