Gemma 4 26B-A4B MoE 모델에서 전문가 8개만 남겨 가중치 85%를 제거한 실험

I removed 85% of gemma's weights (and it is mostly fine)

작성자는 Gemma 4 26B-A4B MoE 모델을 원래 크기의 15%로 줄였고, 특정 분류 작업에서 원본과 92% 일치했다고 밝혔다. 온디바이스 LLM을 24시간 돌리는 앱의 메모리와 에너지 소비를 줄이는 것이 목적이었다. 레이어마다 전문가(expert) 8개를 골라 모든 토큰에 사용했다. 기본 설정에서 토큰마다 8개를 선택하는데 남은 전문가도 8개뿐이라, 라우터가 더 이상 선택할 필요가 없어지고 모델이 밀집(dense) 구조가 된다. 결과는 3.81B 파라미터, Q4_K_M 기준 2.75GB이며, 맥에서 초당 79토큰으로 12B 모델의 약 2배 속도를 보이고 메모리는 3.8GB를 사용한다고 했다. 학습은 작성자 자신의 데이터로 블록 단위로 진행했고, 정답이 아니라 같은 입력에 같은 연산을 수행하도록 맞추는 방식이라고 설명했다. 작성자는 이 모델이 일반 목적용이 아니며, 지식이 필요한 작업은 지식이 사라져 성능이 떨어진다고 명시했다. 또한 같은 방법을 사용자 기기에서 약 5GB 메모리로 학습하는 것이 가능하다고 보지만 실제 기기에서는 아직 테스트하지 않았다고 밝혔다.