AWS의 CPU 수요 증가와 에이전틱 AI의 영향
The CPU Comeback Is Upon Us
AWS는 AI 워크로드로 인해 CPU 서버 용량의 대기 시간이 급증하고 있으며, 이에 따라 CPU 사이클을 절약해야 한다는 지침을 엔지니어들에게 전달했다. 에이전틱 AI 시스템의 부상으로 CPU 수요가 증가하고 있으며, LLM의 추론은 주로 GPU에서 실행되지만, 도구 호출은 CPU에서 처리된다. 연구에 따르면, CPU가 유휴 상태일 때 LLM 추론이 GPU에서 실행되고, 반대로 GPU가 유휴 상태일 때 도구 호출이 CPU에서 실행되는 경우가 많다. 이를 최적화하기 위해 제안된 스케줄링 최적화는 에이전틱 워크로드의 엔드 투 엔드 지연 시간을 최대 1.8배 줄일 수 있다.
에이전틱 AI 시스템의 증가로 CPU 수요가 증가하고 있으며, 이는 Llama-8B 응답의 지연 시간을 줄이는 데 중요한 역할을 한다.
원문 출처
IEEE Spectrum — AI