Latent Space Frontier AEO Tracker의 모델 선택 분석

The Frontier AEO Tracker: What Astra Chooses (and every other frontier model, and what you can do about it)

Latent Space의 Frontier AEO Tracker는 161개 카테고리에서 7개 모델에 대해 6가지 프롬프트 변형을 실행하여 결과를 도출했다. Astra는 추천 결과의 신뢰성과 효율성을 높이며, 모델 간 선택의 변화가 관찰되었다. 예를 들어, Sol 모델은 평균 9개의 출처를 검색하는 반면, Astra는 5개로 더 적은 출처를 사용하지만 더 높은 신뢰성을 보였다. 또한, AEO 점수는 첫 번째 선택, 대안 선택, 언급 및 부정적인 추천에 가중치를 두어 평가된다.