38살 SI 자바 10년차인데 AI로 커리어 전환하기엔 너무 늦었을까요?

답변 3개

• 채택된 답변에디터 검증

  무인 자율 실행은 "잘 되겠지"로 풀면 무조건 돈 새요. 모델한테 "아껴 써"라고 부탁하는 거에 절대 기대지 말고, 가드레일을 코드(오케스트레이터)에 박는 게 정석입니다. 실무에서 효과 본 것들:

  1. plan 단계 강제. 바로 코드 못 치게 하고, 먼저 "어느 파일을 어떻게 고칠지" 계획만 출력 → 합리적일 때만 실행으로 넘김. 탐색 시행착오 상당수가 계획 없이 grep부터 박아서 생겨요.

  2. 범위를 미리 좁혀서 줌. 이슈에 관련 파일 후보를 같이 넣거나, 건드릴 수 있는 디렉터리를 제한. 맨바닥에서 전체 레포 grep 하게 두면 토큰이 거기서 다 나갑니다.

  3. 프롬프트 캐싱. 시스템 프롬프트·레포 규칙·반복 참조하는 큰 파일을 캐시 블록으로 분리하면 같은 컨텍스트 매 턴 재청구 안 돼서 긴 루프일수록 input 요금이 확 떨어져요.

  4. 하드 리밋을 외부에서. 턴 수만으론 부족하고 누적 토큰/비용 상한 + wall-clock 타임아웃을 오케스트레이터 레벨에서 걸어서 초과하면 죽이고 사람한테 에스컬레이션. (참고로 Claude쪽은 task_budget 옵션으로 에이전트 루프 전체 예산을 주면 모델이 카운트다운 보고 스스로 마무리하려는 경향이 있어요. 베타 헤더 필요하고 최소 토큰 하한 있으니 문서 확인.)

  5. 복잡도 라우팅. 단순 작업은 싼/빠른 모델, 어려운 추론만 상위 모델로. 평균 비용 내려가요.

  결국 루프 종료 조건과 비용 상한을 코드에 박는 것이 전부입니다.

  2026년 3월 6일도움돼요 17

  신고
• 저도 거의 같은 케이스라 보탬. 39살에 자바/스프링 8년 하다가 ML 쪽 기웃거렸는데, 한 방에 'ML 엔지니어' 타이틀로 점프하려던 1년은 솔직히 거의 버린 시간이었어요. 코세라 딥러닝 특화과정 5개 다 듣고 캐글 메달도 따봤는데, 면접 가면 결국 "실서비스에서 모델 굴려본 적 있냐"에서 막힘. 없으니까.

  바뀐 건 타이틀 욕심 버리고 옆으로 한 칸 갔을 때였어요. 자바 경력 그대로 들고 'ML 서빙/플랫폼' 쪽 백엔드로 들어갔거든요. 가서 한 일이 결국 추론 API를 Triton/FastAPI로 감싸고, 피처 파이프라인 에어플로우로 돌리고, GPU 비용 모니터링 붙이는 거였는데 — 이게 정확히 회사들이 사람 못 구해서 비어있는 자리더라고요. 모델 자체 만드는 사람은 넘치는데 그걸 프로덕션에서 안 죽게 운영하는 사람이 없음. 자바 10년이면 여기선 거의 즉전감이에요.

  수학은... 케바케긴 한데 제 경우엔 거의 안 봤습니다. 백프로파게이션 손으로 유도하라는 면접 한 번도 없었고, 그라디언트가 뭔지 직관만 있으면 됐어요. 38살에 미적분 교과서부터 다시 펴는 건 진짜 비추. 그 시간에 huggingface 모델 하나 받아서 직접 서빙 띄워보고 latency 재보는 게 면접에서 백 배 먹힙니다.

  나이 자체는 생각보다 안 걸리는데, 한 가지 솔직히 말하면 — '경력은 10년인데 다루는 게 다 처음'인 애매한 포지션이 제일 위험해요. 연차값 하라는 압박은 그대로인데 도메인은 신입이라. 그래서 인접 이동이 중요한 거고요. 기존 강점(설계/장애대응/협업)이 80% 먹히는 자리로 가야 나머지 20% 배우는 게 인정받습니다.

  2026년 3월 28일도움돼요 16

  신고
• 여러 군데 봤던 경험으로 정리하면, AI/ML 코테는 회사 성격에 따라 크게 셋으로 갈려요.

  빅테크/대기업 ML 포지션 — 그냥 일반 SW랑 똑같은 알고리즘 코테 봐요. ML 지식이랑 별개로 자료구조·DP·그래프 통과가 1차 관문. 백엔드 때 준비한 거 그대로 유효하니 여기 노리면 알고리즘 안 놓는 게 맞음.

  ML 특화 과제형 — 데이터셋 주고 "전처리→학습→평가" 또는 "이 모델 성능 올려봐". 주피터 제출하거나 라이브로 진행. 알고리즘보다 데이터 다루는 손이랑 파이프라인 감각을 봅니다.

  응용/LLM 엔지니어 — 시스템 설계나 미니 프로젝트형이 많아요. "간단한 RAG 구현해봐", "이 API 설계해봐" 같은. 여기 한 가지 보태면, 제가 최근에 본 응용 AI 면접은 라이브 코딩으로 **"외부 API 호출해서 결과 파싱하고 에러/타임아웃 핸들링하는 함수 짜라"**가 나왔어요. 알고리즘이 아니라 "불안정한 외부 의존성 다루는 실무 코드"를 보는 거였죠. LLM API가 실제로 느리고 가끔 죽고 응답 깨지니까 재시도·타임아웃·부분 실패·스키마 검증을 자연스럽게 짜는지를 봄.

  준비 배분은 노리는 회사군부터 정하세요. 빅테크 ML이면 알고리즘 비중 높게, 스타트업 응용 AI면 실무 과제·시스템 설계 비중 높게. 둘 다면 알고리즘은 "녹슬지 않을 정도"만 유지하고 차별화는 실무 쪽에서. 알고리즘 만점 받아도 ML 과제에서 데이터 못 다루면 떨어지거든요. 그리고 백엔드 경험 있으면 견고한 엔지니어링 기본기 쪽은 오히려 유리합니다.

  2026년 5월 2일도움돼요 5

  신고