250M 파라미터 모델을 30B 토큰으로 학습하여 60MB로 배포한 양자화 LLM

I developed my own quantized LLM from scratch, trained on 30B tokens, deploys in 60 MB [R]

250M 파라미터 모델이 30B 토큰의 데이터로 학습되었으며, 양자화로 인해 전체 배포 크기는 60MB로 줄어들고 실행 시 약 80MB의 RAM이 필요하다. 일반 노트북 CPU에서 초당 약 400 토큰을 처리할 수 있으며, 가장 최근의 2048 토큰은 fp16으로 유지되고, 이전 토큰은 1비트로 압축되어 디스크에 저장된다. 모델의 언어 모델링 품질은 cross entropy 3.15 nats per token, perplexity 23.3으로 측정되었다. 모든 131k 토큰에 대해 고정된 512비트 코드가 사용되며, 훈련된 파라미터는 없다.