TII Falcon 7B Instruct 등 오픈소스 LLM의 죄수의 딜레마 모델링

Modeling Human Behavior in the Prisoner's Dilemma with Large Language Models

이 연구는 TII Falcon 7B Instruct, Google Gemma 7B, Meta Llama 3.1 8B Instruct, Microsoft Phi Mini MoE Instruct, Qwen 2.5 7B Instruct와 같은 오픈소스 LLM이 반복적인 죄수의 딜레마 게임에서 인간의 협력 패턴을 모델링할 수 있는지를 조사하였다. 연구에서는 두 가지 실험 설정을 사용하여 100 라운드 동안 협력률을 측정하고, 인간 데이터와 비교하였다. 결과적으로 모든 LLM은 인간의 협력률과 차이를 보였으며, 특히 셔플된 환경에서는 인간의 협력률이 평균 28.5%인 반면, 여러 모델은 80%를 초과하였다.