OpenAI의 Jalapeño 칩, NVIDIA 시스템 대비 성능 향상
[AINews] Hot Chips: OpenAI’s Jalapeño, Cerebras CS-5, Groq 3 LPX, Apple M6
OpenAI는 Jalapeño라는 맞춤형 추론 칩의 벤치마크 세부 정보를 발표하며, NVIDIA GB200/GB300 시스템보다 효율성과 지연 시간이 현저히 개선되었다고 주장했다. Jalapeño는 최대 처리량에서 1.5–1.9배 더 많은 작업을 수행하고, 종단 간 지연 시간을 1.7–3.6배 낮추며, 대화형 작업에서는 2.1–4.1배 더 높은 성능을 발휘했다. 이 칩은 700W로 평가되지만 테스트에서는 550W 이하로 유지되었다. OpenAI는 연말까지 자체 인프라에 배포할 계획이며, Gen 2와 Gen 3도 개발 중이다.
Jalapeño는 NVIDIA 시스템 대비 1.5–1.9배 더 많은 작업을 수행할 수 있어, 효율적인 추론 아키텍처를 제공한다.
원문 출처
Latent Space (swyx & Alessio)