OpenAI의 첫 AI 가속기 칩 Jalapeño 공개
How OpenAI Used Its Own LLMs to Design Its Jalapeño Chip
2023년 8월 25일, OpenAI는 첫 AI 가속기 칩 Jalapeño를 공개했다. Jalapeño는 13.4 페타플롭의 4비트 연산 성능과 232 기가바이트의 메모리를 제공하며, 15.4 테라바이트/초의 속도로 메모리에 접근할 수 있다. OpenAI의 벤치마크에 따르면 Jalapeño는 Nvidia의 GB300과 비교해 최대 3.6배의 지연 시간을 줄일 수 있다. Jalapeño의 설계는 OpenAI의 대형 언어 모델에 의해 가속화되었으며, 초기 아키텍처 개념에서 첫 실리콘까지 20개월이 걸렸다.
Jalapeño는 13.4 페타플롭의 성능을 제공하며, 이는 AI 연산의 효율성을 크게 향상시킬 수 있다.
원문 출처
IEEE Spectrum — AI