AWS Trainium2에서 Laplace 3B 선형 주의 모델 훈련 및 서비스
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
대부분의 대형 언어 모델은 소프트맥스 주의력을 사용하는 변환기 아키텍처를 기반으로 하며, 이로 인해 키-값(KV) 캐시가 대화나 문서 맥락에 따라 증가한다. i14는 Laplace 3B를 선형 주의력 대안으로 설계하였으며, 이 모델은 각 시퀀스당 29.5 MB의 고정된 상태를 유지한다. AWS와 협력하여 i14는 TorchNeuron Native를 통해 이 아키텍처를 AWS Trainium2에 적용하였고, Laplace 3B는 약 120,000 토큰/초로 훈련되었으며, 1,280개의 동시 시퀀스에서 초당 11,544개의 출력 토큰을 제공하였다.
Laplace 3B는 Gated Linear Attention(GLA) 설계를 통해 훈련 주의력을 O(T)로 줄이고, 추론 상태를 고정 크기로 유지하여 메모리 효율성을 높인다.
원문 출처
AWS Machine Learning Blog