News
Salesforce의 Multi-AZ HA를 위한 SageMaker Inference Components 활용
Spreading the load: How Salesforce met Multi-AZ HA with SageMaker Inference Components
Salesforce는 Agentforce의 고가용성을 위해 Amazon SageMaker AI Inference Components(ICs)를 사용하여 GPU 비용을 8배 절감했다. 그러나 기본 배치 방식은 Multi-AZ 내구성을 보장하지 못해, AWS는 <code>SchedulingConfig</code> 매개변수를 통해 IC 복사본의 배치를 세밀하게 조정할 수 있는 기능을 제공했다. 이로 인해 Salesforce는 AZ 간 균형을 맞추고 고가용성을 확보할 수 있었다.
<code>SchedulingConfig</code> 매개변수를 통해 IC 복사본의 배치를 조정함으로써 Salesforce는 2-AZ 지원을 충족할 수 있었다.
원문 출처
AWS Machine Learning Blog