1.5B 모델을 활용한 셸 명령어 생성기
Trained a 1.5B to write shell commands so I'd stop googling tar flags. Runs on a laptop CPU in ~1 sec.
연구 프로젝트로 시작된 이 모델은 125,000개의 자연어/명령어 쌍을 기반으로 Fine-tuned Qwen2.5-Coder-1.5B로 훈련되었으며, 941MB 크기로 llama.cpp를 통해 실행된다. 테스트 결과, i5-11320H CPU에서 31.9 tok/s의 속도로 쿼리를 처리하며, InterCode-ALFA에서 0.620의 점수를 기록했다. 모델의 가중치는 Hugging Face와 GitHub에 공개되었다.
Qwen2.5-Coder-1.5B 모델은 CPU에서 7B 모델과 유사한 성능을 제공하며, 셸 명령어 작성에 유용하다.
원문 출처
r/LocalLLaMA