HybridInfer: 온디바이스, 엣지, 클라우드 LLM 추론을 위한 열 인식 강화 학습 라우터

HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference

HybridInfer는 온디바이스 Llama 3.2 3B, 엣지 Llama 3.1 8B, 클라우드 GPT-4o를 포함하는 세 가지 계층의 열 인식 강화 학습 라우터를 제안한다. 이 라우터는 스마트폰의 열 여유와 쿼리 복잡도 추정을 상태로 사용하여 오프라인으로 훈련된 Q-learning 정책에 따라 계층을 선택한다. 실제 Android 벤치마크에서 이 라우터는 두 개의 수동 조정된 휴리스틱보다 유의미하게 높은 품질을 달성하며(p < 0.02), 온디바이스 실행에 대한 보너스를 통해 열 인식 라우팅을 가능하게 한다.