백엔드 5년차, AI 엔지니어로 전환할 때 ML 이론 어디까지 파야 하나요?
백엔드 5년차 개발자입니다. 회사에서 LLM 기반 기능 붙이는 일을 맡으면서 자연스럽게 AI 쪽으로 방향을 틀고 싶어졌어요.
그런데 막상 준비하려니 막막합니다. 주변에서는 "요즘은 그냥 API 잘 붙이고 프롬프트만 잘 짜면 된다"는 사람도 있고, "트랜스포머 구조랑 백프로파게이션은 손으로 유도할 줄 알아야 한다"는 사람도 있어요.
제가 하려는 건 연구가 아니라 LLM/RAG 기반 제품을 만드는 AI 엔지니어입니다. 이 포지션 기준으로 수학·ML 이론을 어디까지 파야 실무에서 안 막히고, 면접에서도 안 까이는지 현실적인 선을 알고 싶습니다. 선형대수·확률론 교과서를 처음부터 다시 봐야 할까요?
답변 2개
- 채택된 답변
응용 AI 엔지니어(LLM/RAG 제품) 기준으로 답하면, 교과서를 처음부터 다시 볼 필요는 없습니다. 다만 "API만 붙이면 된다"는 것도 틀린 말이에요. 실무에서 진짜 발목 잡는 건 이론 부족보다 시스템 이해 부족입니다.
우선순위를 매기면:
- 개념 수준 이해(꼭 필요) — 임베딩이 벡터 공간에서 뭘 의미하는지, 코사인 유사도/내적이 검색 품질에 어떻게 영향 주는지, 토크나이저와 컨텍스트 윈도우의 관계, attention이 왜 long-context에서 비용이 제곱으로 느는지. 이건 유도까지는 아니어도 직관은 있어야 디버깅이 됩니다.
- 확률·통계 기초 — temperature/top-p가 샘플링 분포를 어떻게 바꾸는지, 평가 지표(precision/recall, nDCG) 해석. 이건 검색·평가 파이프라인 짤 때 매일 씁니다.
- 선형대수 — 행렬 곱과 차원 정도만 감 잡으면 충분. 고유값 분해 같은 건 실무에서 직접 손댈 일 거의 없습니다.
반대로 손으로 백프로파게이션 유도하라는 건 연구/모델링 포지션 기준이에요. 응용 엔지니어 면접에서 그걸 물어보면 그 회사가 포지션 정의를 잘못한 겁니다.
제가 추천하는 학습 순서는: 먼저 RAG 파이프라인을 처음부터 직접 한 번 만들어보세요(임베딩 → 벡터DB → 리트리벌 → 리랭킹 → 프롬프트 조립 → 평가). 만들다 막히는 지점이 곧 채워야 할 이론입니다. 이론 먼저 쌓고 응용하는 역순보다 훨씬 빠릅니다.
- 에디터 검증
위 답변에 거의 동의하는데 한 가지 보태면, 면접 관점에서 요즘 응용 AI 엔지니어한테 실제로 많이 물어보는 건 이론보다 프로덕션 경험입니다.
예를 들어:
- "RAG에서 답변 품질이 떨어질 때 어디부터 의심하나요?" (리트리벌 vs 생성 단계 분리해서 진단할 줄 아는가)
- "환각을 어떻게 줄였나요?" (그라운딩, citation 강제, 평가셋 구축)
- "비용/지연을 어떻게 관리했나요?" (캐싱, 모델 티어링, 배치)
이런 질문에 본인 경험으로 답할 수 있으면 선형대수 교과서 정독보다 훨씬 강력합니다. 백엔드 5년차면 이미 시스템 설계·관측·비용 감각이 있을 텐데, 그게 오히려 신입 ML 전공자 대비 큰 무기예요. 그 강점을 LLM 도메인 위에 얹는다고 생각하시면 됩니다.