Poolside AI의 Laguna S 2.1 모델과 모델 팩토리 시스템
Inside the Model Factory — Eiso Kant, Poolside AI
Poolside AI는 Laguna S 2.1 모델을 출시하며, 이는 Thinking Machines의 최근 모델보다 거의 10배 더 큰 성능을 보인다. Eiso Kant는 10,000~20,000개의 실험을 매달 수행하는 모델 팩토리 시스템을 구축하였으며, 모델의 훈련에서 출시까지 8주가 소요된다. Laguna S는 1180억 개의 총 파라미터를 가지며, 80억 개의 활성 파라미터를 포함하고 있다.
Laguna S는 1180억 개의 파라미터를 가지고 있으며, 이는 Poolside AI의 모델 훈련 및 출시 속도를 크게 향상시킨다.
원문 출처
Latent Space (swyx & Alessio)