오픈 가중치 모델 자체 서빙 vs API, 월 토큰 얼마부터 자체 서빙이 이득인가요?
사내 RAG 챗봇을 Together API(70B급 모델)로 돌리는데 월 청구서가 $900까지 올라서 자체 서빙을 검토 중입니다. H100 한 장 빌리면 시간당 $2~3이라 대충 곱해보니 월 $1,800이 나와서 지금보다 오히려 비싼데, 커뮤니티에선 "규모 넘으면 자체 서빙이 훨씬 싸다"고들 해서 제 계산이 뭘 놓치고 있는지 모르겠습니다. GPU를 24시간 켜두는 비용과 API의 토큰당 과금을 어떤 기준으로 비교해야 손익분기를 제대로 잡을 수 있을까요?
답변 1개
- 채택된 답변
핵심은 비대칭입니다. API는 토큰당 과금이라 유휴 비용이 0인 반면, 자체 서빙은 요청이 없어도 GPU 시간당 비용을 냅니다. 그래서 손익분기는 트래픽 총량이 아니라 GPU 이용률로 결정됩니다.
단일 모델·단일 GPU로 계산 틀을 잡으면:
gpu_hourly = 2.5 # H100 온디맨드 $/hr tok_per_sec = 1500 # vLLM 연속배칭 실측 출력 처리량 # (70B는 fp8로 80GB에 적재. fp16은 ~140GB라 1장에 안 올라가 2장 필요) api_1m = 0.70 # 동급 70B API $/1M tokens self_1m_at_100 = gpu_hourly / (tok_per_sec*3600/1e6) # ≈ $0.46 breakeven_util = self_1m_at_100 / api_1m # ≈ 0.66100% 이용률이면 자체 서빙이 $0.46로 API $0.70보다 싸지만, 손익분기 이용률이 66%입니다. H100 한 장을 24시간 내내 66% 이상 채워야 겨우 본전이고, 월로 환산하면 약 2.5B 토큰입니다. 응답 하나가 1천 토큰이라고 치면 초당 1건을 24시간 쉬지 않고 쳐내야 나오는 양입니다. 실서비스는 피크가 평균의 3~5배라, 피크 기준으로 GPU를 깔면 평균 이용률이 20~30%로 떨어져 오히려 API보다 비싸집니다. 질문자님 계산이 놓친 게 바로 이 이용률 항입니다.
숨은 비용도 붙습니다. 콜드스타트(70B 로딩 1~5분이라 버스트에 오토스케일이 못 따라감), 피크 대비 유휴 GPU, 그리고 MLOps 유지보수입니다. 0.25 FTE만 잡아도 월 $3K 안팎이라, 웬만한 규모에선 인건비 하나가 GPU 절감액을 삼킵니다.
결론적으로 초기엔 거의 항상 API가 유리합니다. 자체 서빙이 이기는 구간은 (1) 단일 모델 고정에 물량이 많고, (2) 오프라인·배치 잡(큐를 꽉 채워 90%+ 이용률 확보 가능), (3) 데이터 주권 요구입니다. 규모가 커지면 하이브리드가 정답입니다. 베이스라인은 예약 인스턴스(1년 약정 시 GPU 40~60% 인하되어 손익분기 이용률도 함께 낮아짐)로 자체 서빙하고, 피크 초과분만 API로 흘려보내는 구조입니다. 반대로 실시간 저지연 SLO가 빡세면 배치 크기를 못 키워 처리량이 깎이니 자체 서빙 이점이 사라집니다.