Inkling: 975억 개 매개변수를 가진 모델의 작동 방식
The Sequence AI of the Week #899: Inside Inkling: A Trillion-Parameter Model That Only Wakes Up 41 Billion at a Time
Inkling은 9750억 개의 매개변수를 가진 모델로, 모든 매개변수를 동시에 작동시키는 것이 아니라 각 토큰에 대해 410억 개의 매개변수만 활성화된다. 이는 모델이 방대한 용량을 보유하고 있지만, 단일 단어가 네트워크를 통과할 때는 약 4.2%만 사용된다는 것을 의미한다. 작동 방식은 대학의 256개 전문 학과가 있는 구조로, 토큰이 도착하면 유용한 6개 학과와 항상 참석하는 2개 일반 학과를 선택하여 작업을 결합한다.
Inkling은 9750억 개의 매개변수를 활용하여 특정 토큰에 대해 410억 개의 매개변수만 활성화함으로써 효율적인 처리 방식을 제공한다.
원문 출처
TheSequence (Jesus Rodriguez)