DeepSeek의 R1 모델을 활용한 800,000개의 문제 해결 사례 생성

The Sequence Knowledge #898: The Trace Is the Teacher: Distilling Reasoning Into Small Models

2025년 1월, DeepSeek는 R1 모델을 사용하여 약 800,000개의 문제 해결 과정을 생성했다. 이 과정은 긴 사고의 연쇄로, 잘못된 시작과 자기 수정이 포함되어 있었다. 생성된 데이터는 정확성과 가독성을 기준으로 필터링되었고, 이후 Qwen(1.5B, 7B, 14B, 32B) 및 Llama(8B, 70B)와 같은 여러 오픈 모델에 대해 단순한 감독 학습을 통해 미세 조정되었다. 이 과정에서 강화 학습이나 역 KL, 정책 샘플링은 사용되지 않았다. 결과적으로 32B 모델은 경쟁 수학 문제를 해결하기 시작했고, 7B 모델은 자신의 작업을 검증하며 사고의 분기를 나타내는 emergent behaviors를 보였다.