Modal CEO Erik Bernhardsson, GPU 수요가 직사각형이 아닌 이유와 샌드박스 성장 설명
Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO
Modal의 CEO Erik Bernhardsson이 Latent Space 인터뷰에서 GPU 수요가 고정 용량 계약과 달리 증가·급증·감소를 반복한다는 점과, 이를 수천 고객의 수요를 풀링해 탄력적으로 제공하는 방식을 설명했다. Modal은 연간 런레이트 10억 달러를 넘었고 7.5억 달러 Series D로 160억 달러 기업가치를 기록했으며, 샌드박스가 매출의 약 3분의 1을 차지한다고 밝혔다. Modal은 수천 고객의 수요를 한데 모아 하부 용량을 확보하고, 각 고객이 필요할 때 필요한 만큼 쓰게 하는 방식을 택했다. 기사에 따르면 Modal의 서버리스 GPU는 사용 가능한 GPU 버퍼, 커스텀 파일시스템, 프로세스 체크포인팅, GPU 메모리 스냅샷을 조합해 모델 복제본을 빠르게 올린다. 샌드박스는 코딩 에이전트, 백그라운드 에이전트, 강화학습 수요로 성장했으며, 에이전트가 환경을 만들고 실행하고 다시 시도하는 과정에서 시작과 복원의 지연 시간이 제품 경험의 일부가 된다고 설명했다. 기사는 위험도 함께 언급한다. 공급자가 오늘의 가격으로 용량을 묶어 두었는데 이후 GPU 가격이 떨어지면 비싼 공급분을 떠안을 수 있으며, Erik은 임박한 붕괴는 예상하지 않지만 사업을 짤 때 이 가능성을 고려한다고 말했다.
Modal이 샌드박스 시작·복원 지연 시간을 제품 지표로 다루고 GPU 메모리 스냅샷과 체크포인팅으로 복제본 기동 시간을 줄인다는 점은, 에이전트용 실행 환경을 설계하는 개발자가 콜드 스타트 비용을 따져야 함을 보여준다.
원문 출처
Latent Space (swyx & Alessio)