Amazon Bedrock AgentCore Evaluations에서 결정 모델(decision model) 연결하기: Jev와 Strands Decider 2B 활용

Use decision models with Amazon Bedrock AgentCore Evaluations

Amazon Bedrock AgentCore Evaluations의 코드 기반 평가기(code-based evaluator)에 TypeSafe의 호스팅 결정 모델 Jev와 오픈소스 Strands Decider 2B를 연결하는 방법이 소개됐다. 결정 모델은 고정된 선택지에 대해 보정된 확률을 반환해 에이전트 평가의 점수 단계에 쓸 수 있다. 결정 모델은 자유 형식 텍스트 대신 미리 정의된 답변들에 대한 확률 분포를 반환하는 작은 특화 모델이다. 기사는 결정 모델이 지원하는 질문 유형으로 noul(예/아니오 질문, 0~1 사이 확률 반환), choice(최대 255개 선택지 중 선택, 전체 분포와 신뢰도 반환), score(2~10단계 순서형 척도, 확률 가중 점수와 신뢰도 반환)을 제시한다. AgentCore Evaluations는 15개의 기본 평가기와 LLM-as-a-judge 또는 코드 기반 형태의 사용자 정의 평가기를 지원하며, 코드 기반 평가기는 AWS Lambda 함수에서 외부 모델이나 API, 결정 모델을 호출할 수 있다. 결정 모델은 LLM 평가기를 대체하기보다 좁고 명확한 검사를 위한 선별 계층으로 쓰도록 설명되어 있다. 예를 들어 에이전트가 요청을 거부했는지, 응답이 주제를 벗어나지 않았는지처럼 한눈에 답할 수 있는 판단에 적합하며, 기본 평가기는 설명을 제공하는 심층 평가에 활용한다.