Amazon Bedrock 비용을 FinOps와 플랫폼 팀이 함께 관리하는 5단계 운영 모델
Managing Amazon Bedrock costs end to end: A playbook for FinOps and platform teams
AWS Machine Learning Blog는 Amazon Bedrock 비용을 귀속(attribute), 관찰(observe), 제어(enforce), 최적화(optimize), 운영(operate)의 다섯 단계 루프로 관리하는 방법을 제시했다. 모델 단가 비교나 프롬프트 축소만으로는 어느 팀이 어떤 워크로드에서 얼마를 썼는지 답하기 어렵다는 것이 문제의식이다. 1단계에서는 Amazon Bedrock이 추론 비용을 호출한 IAM 주체(principal)에 자동으로 귀속시키며, 호출자의 ARN은 AWS Cost and Usage Report(CUR) 2.0의 line_item_iam_principal 컬럼에 기록된다고 설명한다. 설정은 CUR 2.0에서 IAM 주체 데이터 활성화, IAM 주체에 team·application·cost center 태그 부여, 비용 할당 태그 활성화, 그리고 Cost Explorer에서 IAM 카테고리로 필터링하는 순서로 진행된다. 태그는 활성화 후 24~48시간 안에 Cost Explorer에 나타난다고 한다. 기사에 따르면 이는 별도 인프라 없이 청구서 수준의 주체별 귀속을 얻는 방식이다. 에이전트형 워크로드는 한 작업에 많은 호출을 발생시키고 호출마다 더 큰 컨텍스트를 전달하기 때문에, 토큰 소비가 사용자 상호작용 수보다 워크플로의 자율성과 컨텍스트 크기에 비례해 늘어난다고 기사는 지적한다.
CUR 2.0의 line_item_iam_principal 컬럼과 iamPrincipal/team 같은 태그를 활성화하면 팀별 Bedrock 비용을 Cost Explorer에서 바로 묶어 볼 수 있다.
원문 출처
AWS Machine Learning Blog