AI의 위험성에 대한 논의와 Anthropic의 Jacob Coxon 사임
AI #185: Preference Cascade
AI에 대한 우려가 커지고 있으며, Jacob Coxon이 Anthropic에서 사임하면서 이 문제에 대한 경고가 더욱 주목받고 있다. 최근에는 상원 의원 Bernie Sanders와 하원 의원 Greg Casar가 초지능에 대한 전면 금지 법안을 제안했다. OpenAI의 GPT-6 Astra와 Anthropic의 Claude Fable 5.1 모델이 모두 높은 성능을 보이고 있으며, Astra는 이전 모델보다 더 많은 기능을 갖추고 있다. 그러나 Jakub Pachocki는 AI의 능력이 빠르게 발전하고 있지만, 정렬(alignment)과 모니터링(monitorability)이 그 속도를 따라가지 못하고 있다고 경고했다.
OpenAI의 GPT-6 Astra는 이전 모델보다 더 큰 개선을 이루었지만, 모니터링 가능성이 감소하고 있다는 점에서 주의가 필요하다.
원문 출처
Don't Worry About the Vase (Zvi Mowshowitz)