SNOW Image AI 서비스의 LitServe 전환과 GPU 공유로 H100 환산 약 67장 절감
Image AI 서빙 최적화: CPU와 GPU의 빈 시간을 줄여 H100 67장을 절감하기까지
네이버 SNOW의 16개 Image AI 서비스에서 LitServe 전환, 불필요한 연산과 CPU·GPU 대기 시간 축소, 실제 트래픽에 맞춘 파라미터 조정, 여러 서비스의 GPU 공유를 통해 응답 속도와 안정성을 높이면서 H100 환산 약 67장의 GPU 자원을 절감했다고 발표했다. 이 내용은 NAVER Engineering Day 10th 세션으로 공개됐다. 발표는 SNOW Image AI 서비스의 기존 서빙 구조가 가진 문제를 짚은 뒤 LitServe로 전환한 과정을 다룬다. 이후 실제 트래픽에 맞게 설정을 조정하고, 작업을 분리해 여러 서비스가 GPU를 공유하도록 만든 방법을 소개한다. 목차상 총 절감 기여량과 누적 개선 결과도 함께 정리된다. 발표 대상은 Image AI 모델을 서비스로 운영하며 응답 속도와 GPU 자원 효율을 개선하려는 엔지니어다. 기사에 제시된 목차에는 향후 과제 항목이 포함되어 있다.
LitServe 전환과 여러 서비스의 GPU 공유를 통해 H100 환산 약 67장을 절감한 사례는 Image AI 모델을 운영하는 팀이 GPU 대기 시간과 파라미터 설정을 점검할 때 참고할 수 있다.
원문 출처
네이버 D2