PRQuant: 저비용 추론을 위한 순열 잔여 양자화
PRQuant: Permutation Residual Quantization for Low-Overhead Inference
PRQuant(순열 잔여 양자화)는 저비용 추론을 위한 훈련 없는 프레임워크로, 채널 재조직과 정적 가중치 잔여 보상을 결합하여 정확도를 개선한다. 이 방법은 입력 채널을 식별하고 이를 연속적인 꼬리 블록으로 재배치하여 오프라인에서 잔여 가중치 서브 텐서를 구성한다. 추론 시, 이 구조는 비싼 온라인 집합 작업 없이 활성화 측에서 꼬리 블록을 원활하게 사용할 수 있게 하여 지연 시간을 크게 줄인다. 실험 결과, PRQuant는 MXFP4보다 평균 정확도가 1.24 및 0.55 향상된 성능을 보여준다.
PRQuant는 MXFP4보다 평균 정확도를 1.24 및 0.55 향상시켜 저비용 추론의 성능을 개선한다.
원문 출처
arXiv cs.LG (머신러닝)