News
Speculative Macro Commit(SMC)으로 도구 사용 에이전트의 지연 시간 감소
Speculative Macro Commit for Faster Tool-Using Agents
Speculative Macro Commit(SMC)는 두 단계 에이전트 시스템을 위한 런타임 메커니즘으로, 대형 권위 모델이 공식 경로를 생성하는 동안 빠른 예측 모델이 미래의 행동 체인을 예측하고 실행한다. SMC는 훈련 추적에서 반복적인 다중 행동 스켈레톤을 추출하여 매크로 라이브러리에 저장하고, 런타임에서 예측된 행동 체인과 일치시킨다. Qwen3.5-27B INT4를 권위 모델로, Qwen3.5-4B를 예측 모델로 사용하여 SMC는 Speculative Actions(SA) 기준보다 10.23%의 지연 시간을 줄이고, AppWorld에서는 SA 기준보다 7.7% 감소시킨다.
SMC는 Qwen3.5-27B INT4 모델을 사용하여 에이전트의 지연 시간을 10.23% 줄이는 효과를 보인다.
원문 출처
arXiv cs.AI (인공지능)