SHADOW-50M: 44M 파라미터의 양자화된 LLM 모델

I trained a 44M parameter quantized LLM from scratch on 45B tokens. It ships in 19.8 MB and runs at ~1,900 tok/s on CPU. [P]

SHADOW-50M은 44M 파라미터로 구성되어 있으며, 45B 토큰으로 학습되었다. 모델 크기는 19.8 MB이고, CPU에서 약 1,900 tok/s로 실행된다. 이 모델은 오프라인에서 작동하며, 고정된 512비트 지문을 사용하여 73,880개의 어휘를 표현한다. 계산이 필요한 경우, 모델은 특정 형식으로 계산 요청을 작성하고, 고정 회로가 이를 처리하여 결과를 반환한다. 또한, 기록을 저장할 때 주의 상태를 디스크에 기록하며, 인덱스는 22바이트/토큰으로 구성되어 있다.