다목적 강화 학습을 통한 Pareto-최적 RTL 코드 생성

Pareto-Optimal RTL Code Generation via Multi-Objective Reinforcement Learning with Large Language Models

최근 연구에서는 LLMs(대형 언어 모델)를 활용하여 자연어 사양으로부터 고품질 RTL 회로를 생성하는 강화 학습 방법(RLVR)을 제안하였다. 기존 방법들은 전력, 성능, 면적(PPA) 최적화를 단일 스칼라 보상으로 집계하여 다양한 Pareto-최적 솔루션을 동시에 생성하기 어려웠다. 본 연구에서는 LLM 기반 회로 생성에서 단일 회로의 품질이 아닌 전체 회로 집합의 품질과 다양성을 최적화하는 학습 방법을 제안하며, Hypervolume Contribution(HVC) 기반의 보상 함수를 사용하여 생성된 회로가 Pareto 전선에 얼마나 기여하는지를 측정한다. RTLLM v2 벤치마크 평가에서 제안된 방법은 PPA 최적화가 없는 기준 대비 +13.3%의 상대적 Hypervolume 향상과 단일 목표 강화 학습 방법 대비 +14.4%의 향상을 달성하였다.