커뮤니티 협업으로 10억 파라미터 LLM을 학습하는 CrowdGPT 프로젝트 Crowd-v1

Crowd-v1 - The collaborative LLM

CrowdGPT 프로젝트는 데이터센터나 비용 없이 참여자들의 유휴 GPU로 10억 파라미터 트랜스포머 Crowd-v1을 협업 학습하는 것을 목표로 한다. 기사에 따르면 이전 게시물 이후 85명이 등록해 일주일간 13B 토큰을 학습했다. 프로젝트의 목표는 Qwen3-0.6B의 벤치마크 성능에 맞먹거나 넘는 1B 모델을 만드는 것이며, 이를 개념 증명으로 삼은 뒤 참여자가 충분히 모이면 7B A1B 또는 30B A3B MoE로 확장할 계획이다. 모델 크기는 커뮤니티가 정한다. 프로젝트는 비영리·오픈소스로 운영되며, 소스코드는 GitHub에서 누구나 감사할 수 있다. 누구나 crowdgpt.net의 제출 페이지를 통해 모델용 데이터를 보낼 수 있고, 안전하다고 판단되면 사용된다고 밝혔다. 기사는 모든 것이 아직 작업 중이며 학습 메커니즘과 데이터셋에 대한 기여, 코드 리뷰와 풀 리퀘스트를 환영한다고 적었다. 프로젝트 결함에 대한 건설적인 피드백도 요청했다.