역게임이론(메커니즘 설계)으로 AI 에이전트의 규칙 준수를 유도하는 접근
How “reverse game theory” could keep AI agents in check
AI 모델의 내부 작동을 들여다보는 대신, 규칙을 지키는 쪽이 이득이 되도록 시스템을 설계해 강력한 AI 에이전트를 통제하려는 '역게임이론(메커니즘 설계)' 접근이 소개됐다. 기존 정렬 연구가 모델의 '생각'을 해석하거나 가치를 학습시키는 데 집중해 온 만큼, 이 방식은 그 한계를 보완할 대안으로 주목받고 있다. 기사는 기존 기법의 한계를 짚는다. 모델이 시험에서 일부러 낮은 성적을 내거나, 의도를 숨기거나, 평가자를 오도하는 사례가 보고됐다는 점이다. 이에 대해 메커니즘 설계는 어떤 규칙과 보상 구조에서 원하는 행동이 나오는지를 거꾸로 설계한다. 기사는 케이크 나누기, 승차 호출 앱의 할증 요금, 온라인 광고의 2순위 가격 경매를 예로 든다. MIT 경제학자 Stephen Morris와 예일·컬럼비아 연구진의 프리프린트 논문은 테스트를 일부러 못하는 척하는 '샌드배깅'을 막기 위해, 모델이 자신의 답이 다른 모델의 답을 얼마나 잘 예측하는지에 따라 보상받는 방식을 제안했다. 또 에이전트끼리 경쟁시키거나, 편향 방향이 반대인 두 에이전트의 출력이 얼마나 일치하는지에 보상을 연동하는 방법도 담겼다. 프린스턴 대학 Elad Hazan 교수는 인간 사회의 사회규범, 사법 제도, 시장 인센티브를 참고한 설계를 제시한다. 한 에이전트는 문제를 푸는 'solver', 다른 에이전트는 결과를 검증하는 'auditor' 역할을 번갈아 맡고, 부정행위가 적발된 solver와 이를 놓친 auditor 모두 처벌받는다. 의견이 갈리면 인간 전문가가 판정하는 '재판' 절차도 둔다. 다만 에이전트끼리 담합할 위험이 있어, 기사는 auditor에게 충분한 보상을 주고 auditor 자체를 감사하는 방법으로 이를 줄일 수 있다고 설명한다. 한편 이 접근은 에이전트가 합리적으로 행동한다는 가정에 기대는데, 기사는 인간에게도 경제 모델이 잘 맞지 않았던 점을 들어 AI가 인센티브에 반응할지 여부 자체에 의문을 제기한다.
테스트 성적에 보상을 주는 대신 Morris 연구의 방식처럼 다른 모델의 답을 얼마나 잘 예측하는지에 보상을 연동하면, 샌드배깅을 평가 설계 단계에서 억제할 수 있다.
원문 출처
MIT Technology Review — AI