아이들이 AI보다 언어 학습에서 더 효율적인 이유
Kids outlearn AI—and we still don’t know why
인간 아동은 100,000년 이상 대화해왔으며, 최근 ChatGPT와 같은 LLM이 등장한 이후에도 아이들이 여전히 언어 학습에서 기계보다 우수한 이유는 '데이터 효율성 격차'에 있다. LLM은 15조 개의 토큰으로 훈련되지만, 언어가 풍부한 환경에서 자란 아동은 약 1억 개의 단어를 듣고, 20세까지 3억 개로 늘릴 수 있다. 이는 LLM이 사용하는 데이터 양과 비교할 때 현저히 적다. 연구자들은 아동의 학습 방식을 역설계하여 더 데이터 효율적인 AI 모델을 개발하려고 한다.
LLM은 15조 개의 토큰으로 훈련되지만, 아동은 1억 개의 단어로 언어를 배운다. 이는 AI 모델의 데이터 효율성을 높이는 연구에 중요한 통찰을 제공할 수 있다.
원문 출처
MIT Technology Review — AI