AssemblyAI, AWS에서 Amazon EC2 Spot으로 음성-텍스트 추론 비용 절감 구조 공개
Cost-optimizing AssemblyAI speech-to-text inference on AWS with Amazon EC2 Spot
AssemblyAI는 Amazon ECS, Amazon EC2 Spot Instances, Amazon SQS를 조합해 GPU 기반 음성-텍스트 추론을 비용 효율적으로 운영하는 아키텍처를 소개했다. Spot 인스턴스가 2분 전 중단 통보와 함께 회수돼도 SLA를 유지하도록 설계된 점이 핵심이다. 이 구조는 ECS 캐파시티 프로바이더로 Spot과 On-Demand 인스턴스를 섞어 운영하며, On-Demand는 항상 켜져 있는 기준선 역할을 하고 Spot은 수요 급증을 처리한다. Spot 용량 확보를 위해 g4dn.xlarge, g4dn.2xlarge, g5.xlarge, g5.4xlarge, g6.2xlarge 등 여러 GPU 인스턴스 패밀리에 걸쳐 분산한다. Spot 중단 알림을 받으면 Amazon EventBridge가 AWS Lambda 함수인 Spot Interruption Handler를 호출해 처리 중이던 작업을 Main Job SQS Queue로 되돌리고, 다른 정상 ECS 태스크가 이를 가져간다. 재시도 횟수를 소진한 작업은 Dead Letter SQS Queue로 보내 조사한다. 리전은 us-west-2(오리건)와 eu-west-2(런던)에 배치해 데이터 거주 요건을 맞춘다. 기사는 Spot 인스턴스가 여러 패밀리와 가용 영역에 걸쳐 흩어져 있어도 중단 이벤트와 플릿 상태를 Amazon CloudWatch 지표로 모니터링한다고 설명한다. 이 구조가 절감한 비용의 구체적 수치는 본문에 제시되지 않았다.
ECS 캐파시티 프로바이더에 Spot과 On-Demand를 함께 두고 g4dn·g5·g6 등 여러 GPU 패밀리로 분산하며, SQS 기반 재시도와 Lambda 중단 처리를 결합하면 GPU 추론 워크로드의 Spot 비용 이점을 가용성 손실 없이 가져갈 수 있다.
원문 출처
AWS Machine Learning Blog