NVIDIA Blackwell GPU에서 실행되는 GPT-6 Astra Ultrafast 출시
How NVIDIA GPUs Help Accelerate OpenAI’s GPT-6 Astra Ultrafast
GPT-6 Astra Ultrafast는 NVIDIA Blackwell GPU에서 실행되며, OpenAI API와 ChatGPT Work 및 Codex 사용자에게 제공된다. Ultrafast는 Astra Standard 모드보다 최대 8배 빠른 토큰 생성을 지원하여 개발자들이 코드 작성, 도구 사용 및 복잡한 작업을 수행하는 데 소요되는 시간을 단축시킨다. OpenAI는 NVIDIA GPU에서의 추론 소프트웨어를 개선하기 위해 자체 모델을 활용하고 있으며, 이는 시간이 지남에 따라 모델 응답 속도와 배포된 인프라의 생산성을 향상시킨다.
Ultrafast는 개발자들이 코드 작성과 도구 사용 시 더 빠른 응답을 제공하여 작업 흐름을 개선할 수 있도록 한다.
원문 출처
NVIDIA Blog