Amazon SageMaker AI Async Inference, 인라인 요청 페이로드 지원 시작
Amazon SageMaker AI Async Inference now supports inline request payloads
Amazon SageMaker AI Async Inference가 인라인 페이로드 지원을 시작했다. 이제 고객은 <code>InvokeEndpointAsync</code> API의 요청 본문에 직접 추론 페이로드를 전송할 수 있으며, 이는 Amazon S3에 입력 데이터를 업로드할 필요를 없앤다. 인라인 페이로드는 최대 128,000 바이트까지 지원되며, 이를 통해 네트워크 왕복을 줄이고 클라이언트 측 코드를 단순화할 수 있다. <code>Body</code> 매개변수와 <code>InputLocation</code>는 상호 배타적이며, 기존 비동기 엔드포인트와 호환된다.
이 기능은 작은 입력 페이로드를 사용하는 고객에게 S3 의존성을 줄여 개발 복잡성을 감소시킨다.
원문 출처
AWS Machine Learning Blog