시뮬레이션 기반 페르소나가 실제 청중 반응 예측에 미치는 영향 연구
Do Synthetic Personas Predict Real Audience Response? A Sim-to-Real Study Where a No-Persona Baseline Beats Persona-Based Copy Simulation
마케팅에서 대형 언어 모델(LLM)을 사용하여 '합성 페르소나'를 통해 청중의 반응을 예측하는 연구가 진행되었다. 이 연구는 Upworthy Research Archive의 수천 개의 헤드라인 A/B 테스트를 기반으로 하여, 10개의 페르소나 패널과 페르소나 없이 모델에 직접 클릭 가능성을 묻는 제로샷 기준을 비교하였다. 결과적으로, 페르소나 기반 예측은 신뢰도가 낮아졌고, 제로샷 기준이 더 나은 예측 성능을 보였다. 이는 세 가지 독립적인 Upworthy 분할에서 반복되었고, 다른 뉴스 데이터셋에서도 유사한 결과가 나타났다.
제로샷 기준의 top-1 정확도가 49.2%로, 페르소나 패널의 34.6%보다 높아 예측 성능에서 차이를 보였다.
원문 출처
arXiv cs.AI (인공지능)