ReviewBench: AI 코드 리뷰를 위한 오픈 벤치마크
ReviewBench: An open benchmark for AI code review
ReviewBench는 AI 코드 리뷰의 품질을 측정하기 위한 새로운 오프라인 벤치마크로, GitHub의 1억 개 이상의 실제 풀 리퀘스트를 모델로 하여 언어, 리포지토리 크기 및 풀 리퀘스트 크기 분포를 따릅니다. 이 벤치마크는 다양한 코드 리뷰 시스템을 비교하고, 리뷰어가 포착하거나 놓치는 문제를 평가하는 데 도움을 줍니다. ReviewBench는 정량적 평가를 위한 다중 출처의 골든 세트를 사용하고 있으며, 고위 엔지니어들에 의해 독립적으로 검증되었습니다.
ReviewBench는 코드 리뷰 시스템의 성능을 평가하고 개선 방향을 예측하는 데 유용한 도구입니다.
원문 출처
GitHub Blog