데이터 과학자의 역할 변화와 머신러닝 엔지니어링의 분리
The Revenge of the Data Scientist
데이터 과학자는 통계와 소프트웨어 공학의 혼합된 기술을 요구하며, 예측 모델을 구축하고 인과관계를 측정하는 역할을 수행한다. 그러나 LLMs의 등장으로 AI 배포에서 데이터 과학자와 머신러닝 엔지니어(MLE)의 역할이 줄어들고 있다. OpenAI의 블로그에서는 Codex가 테스트와 사양으로 제한된 환경에서 독립적으로 소프트웨어 프로젝트를 수행한 사례를 소개하며, 데이터 과학이 시스템의 중요한 부분임을 강조한다. 데이터에 대한 깊은 이해 없이 일반적인 메트릭을 사용하는 것은 문제를 진단하는 데 도움이 되지 않으며, 데이터 분석과 맞춤형 메트릭 설계가 필요하다.
원문 출처
Hamel Husain's Blog