백엔드 5년차, AI 엔지니어로 전환할 때 ML 이론 어디까지 파야 하나요?
백엔드 5년차 개발자입니다. 회사에서 LLM 기반 기능 붙이는 일을 맡으면서 자연스럽게 AI 쪽으로 방향을 틀고 싶어졌어요.
그런데 막상 준비하려니 막막합니다. 주변에서는 "요즘은 그냥 API 잘 붙이고 프롬프트만 잘 짜면 된다"는 사람도 있고, "트랜스포머 구조랑 백프로파게이션은 손으로 유도할 줄 알아야 한다"는 사람도 있어요.
제가 하려는 건 연구가 아니라 LLM/RAG 기반 제품을 만드는 AI 엔지니어입니다. 이 포지션 기준으로 수학·ML 이론을 어디까지 파야 실무에서 안 막히고, 면접에서도 안 까이는지 현실적인 선을 알고 싶습니다. 선형대수·확률론 교과서를 처음부터 다시 봐야 할까요?
답변 2개
백엔드 5년차시면 솔직히 교과서 처음부터 다시 볼 필요 없습니다. 근데 "API만 붙이면 된다"는 것도 틀린 말이에요. 응용 AI 엔지니어(LLM/RAG 제품) 기준으로, 실무에서 진짜 발목 잡는 건 이론 부족이라기보단 시스템 이해 부족이더라고요.
꼭 챙겨야 하는 건 개념 수준 직관입니다. 임베딩이 벡터 공간에서 뭘 의미하는지, 코사인 유사도가 검색 품질에 어떻게 먹히는지, 토크나이저랑 컨텍스트 윈도우 관계, attention이 왜 long-context에서 비용이 제곱으로 뛰는지. 유도까지는 아니어도 이 직관이 없으면 디버깅이 안 됩니다. 그리고 temperature/top-p가 샘플링 분포를 어떻게 바꾸는지, precision/recall이나 nDCG 같은 평가 지표 해석 — 이건 검색·평가 파이프라인 짜면 거의 매일 써요. 선형대수는 행렬 곱이랑 차원 감만 잡으면 충분하고, 고유값 분해 같은 건 실무에서 직접 손댈 일 거의 없습니다.
손으로 백프로파게이션 유도하라는 건 연구/모델링 포지션 얘기예요. 응용 엔지니어 면접에서 그걸 물으면 그 회사가 포지션 정의를 잘못한 거라고 봅니다.
학습 순서는, 이론 먼저 쌓지 말고 RAG 파이프라인을 처음부터 한 번 직접 굴려보세요. 임베딩 → 벡터DB → 리트리벌 → 리랭킹 → 프롬프트 조립 → 평가까지. 만들다 막히는 지점이 곧 채워야 할 이론입니다. 이 역순이 체감상 훨씬 빨라요.
- 에디터 검증
위 답에 거의 동의하는데, 면접 관점에서 하나만 보태면 요즘 응용 AI 엔지니어한테 실제로 많이 묻는 건 이론보다 프로덕션 경험 쪽입니다.
제가 받아봤거나 옆에서 본 질문들이 이런 식이에요. "RAG에서 답변 품질 떨어지면 어디부터 의심하나요"(리트리벌이랑 생성 단계 분리해서 진단할 줄 아는지), "환각 어떻게 줄였나요"(그라운딩·citation 강제·평가셋), "비용이랑 지연 어떻게 잡았나요"(캐싱·모델 티어링·배치). 이런 데 본인 경험으로 답할 수 있으면 선형대수 교과서 정독보다 훨씬 셉니다.
백엔드 5년차면 이미 시스템 설계·관측·비용 감각이 몸에 있을 텐데, 그게 신입 ML 전공자 대비 오히려 큰 무기예요. 그 강점 위에 LLM 도메인을 얹는다고 생각하시면 됩니다. 뭐 회사마다 다르긴 하겠지만.