MLOps로 가고 싶은데 모델 학습 경험이 거의 없어도 괜찮을까요? (인프라 3년차)
데브옵스/인프라 3년차입니다. 쿠버네티스, CI/CD, 테라폼 같은 건 자신 있는데 ML 모델 자체를 학습시켜본 경험은 거의 없어요.
최근에 MLOps 직무가 많이 보이길래 관심이 생겼는데, 채용공고를 보면 "모델 학습/평가 경험" "PyTorch/TensorFlow"를 요구하는 곳이 꽤 있더라고요. 제가 모델을 직접 만들어본 적이 없어서, MLOps로 전환하려면 결국 모델링부터 제대로 배워야 하나 고민됩니다.
MLOps 엔지니어한테 모델링 역량은 실제로 얼마나 필요한가요? 인프라 강점을 살려서 갈 수 있는 길인지 궁금합니다.
답변 2개
- 채택된 답변에디터 검증
인프라 3년차면 MLOps로 가는 데 이미 절반 이상 와 있습니다. 솔직히 MLOps의 본질은 "ML이 끼얹어진 플랫폼/인프라 엔지니어링"이에요. 모델을 from scratch로 설계하는 게 핵심 업무가 아닙니다.
실제로 뭘 하느냐면:
- 학습/추론 파이프라인 자동화 (데이터 → 학습 → 평가 → 배포 → 모니터링) — 본질이 CI/CD 사고방식의 확장입니다. 님 강점 영역이에요.
- 모델 서빙 인프라 (GPU 스케줄링, 오토스케일링, 추론 최적화, 배칭) — 쿠버네티스 경험이 그대로 직결.
- 재현성·버전관리 (데이터 버전, 모델 레지스트리, 실험 추적) — 형상관리의 ML 버전.
- 모니터링 (데이터 드리프트, 모델 성능 저하 감지) — observability의 ML 버전.
모델링은 "학습 코드를 처음부터 짤 줄 안다"가 아니라 "파이프라인이 뭘 하는지 이해하고, 깨졌을 때 어디가 문제인지 짚을 수 있다" 수준이면 충분합니다. 그러니 PyTorch로 분류 모델 하나만 끝까지 굴려보세요. 데이터 로딩 → 학습 루프 → 평가 → 저장 → 서빙까지 한 사이클. 한 번 돌려보면 "아 이게 자동화/모니터링할 대상이구나"가 체감으로 박힙니다. 거기까지면 면접에서 안 막혀요.
공고에 PyTorch 적혀있다고 데이터 사이언티스트급 모델링을 요구하는 게 아닙니다(가끔 JD 베껴 쓴 곳도 있고요). 그 모델을 굴러가게 만들 사람을 찾는 거예요. 모델링부터 배워야 한다는 강박은 버리세요.
현직 플랫폼 엔지니어로 ML 팀이랑 같이 일하는 입장에서 보태면, 요즘은 MLOps가 LLMOps 쪽으로 영역이 넓어지면서 인프라 출신한테 오히려 기회가 더 늘었어요.
LLM 운영은 전통적인 모델 학습 인프라랑 결이 꽤 다릅니다. 자체 학습보다는:
- 추론 서버 운영 (vLLM/TGI 같은 엔진, KV 캐시, continuous batching)
- 프롬프트/버전 관리, 평가 파이프라인 자동화
- 비용·지연 모니터링 (토큰당 단가, p95 레이턴시)
- 모델 라우팅 (쉬운 건 작은 모델, 복잡한 건 큰 모델로)
- 외부 API(Claude, GPT 등)랑 self-host 모델 혼합 운영
이쪽은 모델 내부보다 시스템·운영 역량이 압도적으로 중요합니다. 테라폼/쿠버네티스 강점이 그대로 먹혀요. 모델링부터 배워야 한다는 강박 버리고 "ML/LLM 시스템을 운영 가능하게 만드는 인프라 전문가"로 포지셔닝하시길. 그 각도로 이력서 쓰면 인프라 3년이 약점이 아니라 핵심 셀링포인트가 됩니다. 적어도 제가 보는 시장에선 이쪽 수요가 모델 잘 만드는 사람보다 훨씬 많아요.