추론 비용과 모델 압축의 관계

The Sequence Knowledge - Issue 916: From Thinking Longer to Learning Better

추론 모델 시대의 발견은 테스트 시점에서 지능을 구매할 수 있다는 것이다. 모델이 더 오랜 시간 동안 생각하게 하면 정확도가 크게 향상되며, 이는 매개변수와 데이터 외에 테스트 시점 컴퓨팅이 확장의 세 번째 축이 됨을 의미한다. 그러나 동일한 인지를 반복적으로 지불하는 것에는 개념적으로 이상한 점이 있다. 모델이 신뢰성 있게 답변하기 위해 16개의 후보를 샘플링하고 다수결을 통해 답변해야 한다면, 이 16개의 샘플과 투표가 실제 모델이 된다. 이를 통해 더 나은 모델을 가볍게 압축할 수 있는지, 즉 네트워크가 한 번의 전방 패스로 16번의 결과를 생성하도록 훈련할 수 있는지에 대한 질문이 제기된다. 이는 테스트 시점 컴퓨팅 증류로, 동일한 네트워크가 더 많은 시간을 갖고 생각하는 방식으로 이루어진다.