Amazon Bedrock에서 OpenAI GPT-5.6 모델의 크로스 리전 추론 도입
Introducing cross-Region inference for OpenAI GPT-5.6 models on Amazon Bedrock
Amazon Bedrock은 25개 이상의 AWS 리전에서 OpenAI GPT-5.6 모델을 제공하며, 크로스 리전 추론을 지원한다. Sol, Terra, Luna의 세 가지 GPT-5.6 변형이 있으며, 각 변형은 성능과 비용의 균형을 맞추도록 조정되었다. 크로스 리전 추론은 인퍼런스 프로필을 통해 작동하며, 요청을 소스 리전에서 호출하고, Amazon Bedrock이 해당 리전의 컴퓨트를 사용하여 요청을 목적지 리전으로 라우팅한다.
크로스 리전 추론을 통해 요청이 더 넓은 컴퓨트 풀을 활용할 수 있어 처리량이 개선되고 부하 하에서도 일관된 성능을 유지할 수 있다.
원문 출처
AWS Machine Learning Blog