AgentCore 게이트웨이의 AI 트래픽을 위한 속도 제한 구성
Configure rate limits for AI traffic on AgentCore gateway
Amazon Bedrock AgentCore gateway는 관리형 서버리스 AI 게이트웨이로, AI 트래픽을 위한 단일 보안 진입점을 제공합니다. 최근 발표된 속도 제한 기능은 사용자가 도구, 추론 모델 및 에이전트를 소비하는 방식을 세밀하게 제어할 수 있게 해줍니다. 속도 제한은 요청 속도, 토큰 속도 및 연결 속도로 구분되며, 각 속도 제한은 특정 시간 내에 허용되는 최대 요청 수를 정의합니다.
AgentCore gateway의 속도 제한 기능은 요청 속도, 토큰 속도 및 연결 속도를 통해 사용자의 트래픽을 관리할 수 있게 해줍니다.
원문 출처
AWS Machine Learning Blog