Amazon Nova Act 기반 QA Studio에 애플리케이션 단위 테스트 관리와 팀 기반 사용자 권한 기능 추가
Accelerating software delivery with agentic QA automation using Amazon Nova Act – Part 3
AWS Machine Learning Blog의 Part 3 글은 QA Studio에 applications 기능과 팀 기반 사용자 관리 기능을 더해 여러 팀이 테스트를 함께 운영하는 방법을 설명한다. 테스트가 늘어나면 테스트 작성보다 조직화와 접근 제어가 병목이 된다는 문제를 다룬다. QA Studio의 application은 테스트 대상 시스템(웹사이트, 웹 앱, 서비스 프런트엔드)을 나타내며, 이름·기본 URL·선택적 환경(development, staging, production)으로 생성한다. 사용 사례(use case)와 테스트 스위트는 애플리케이션에 속하고 그 소유권을 상속하므로, 팀은 전체 테스트 목록 대신 자신이 소유한 애플리케이션 안에서 작업한다. 테스트 실행 결과는 Amazon CloudWatch 커스텀 메트릭으로 기록되며 애플리케이션과 환경 차원으로 구분된다. 애플리케이션 페이지에는 선택 기간의 통과율, 총 실행 수, 현재 실패 수와 함께 0~100 사이의 건강 점수가 표시되며, 이 점수는 통과율에서 플래키(flaky) 테스트에 대한 감점을 뺀 값이다. 추이 탭은 7일(시간 단위)과 30일(일 단위) 구간을 제공하고, 플래키 테스트 보기는 최근 7일간 통과와 실패를 오간 횟수로 사용 사례를 순위화한다. 최근 실패 목록의 각 항목은 Part 1에서 설명한 Amazon Nova Act 트래젝터리 로그와 세션 녹화로 바로 연결된다. 기사는 팀 기반 사용자 관리를 통해 누가 무엇을 보고 변경할 수 있는지 제어한다고 밝히고 있으나, 세부 권한 모델은 이 요약의 근거 범위 밖이다.
CloudWatch 커스텀 메트릭으로 기록되는 애플리케이션·환경별 통과율과 0~100 건강 점수, 그리고 최근 7일 플래키 테스트 순위를 활용하면 여러 팀의 테스트 상태를 한 화면에서 비교하고 불안정한 테스트를 우선 점검할 수 있다.
원문 출처
AWS Machine Learning Blog