모델 기반 시뮬레이션의 발전과 단계별 변화

[AINews] 10% worse, 100x cheaper, 10000x faster: Why Simulation is taking over

2022년부터 매년 기계 지능 생산 파이프라인의 한 요소가 인간 제작에서 모델 제작으로 전환되고 있다. 1단계에서는 InstructGPT가 보상 신호를 모델로 대체하며 평가 방법론이 모델 기반으로 변화했다. 2단계에서는 Microsoft의 Phi 시리즈가 LLM 합성 데이터로 훈련된 모델의 성능을 입증했다. 3단계에서는 Stanford의 Alpaca가 GPT 생성 지침으로 모델 행동을 복제하는 데 성공했다. 4단계에서는 모델이 스스로 학습할 내용을 결정하게 되었고, 5단계에서는 DeepMind의 AlphaEvolve가 새로운 알고리즘을 발전시켰다. 6단계에서는 RL 환경의 구축이 필요해졌다.