Category
AI 개발
AI 개발은 LLM을 실제 제품에 붙이는 엔지니어링 전반을 다룬다. 프롬프트 설계, 도구 호출, RAG, 평가, 비용·지연 관리까지 포함한다. 모델 호출 한 줄은 쉽지만, 환각 제어와 출력 신뢰성·재현성을 확보하는 데서 진짜 난이도가 나온다.
구조화 출력과 함수 호출, 스키마 강제가 필요한 순간 구분하기
LLM 출력을 안정적으로 다루려면 구조화 출력(Structured Outputs)과 함수 호출(Function Calling)의 차이를 이해해야 한다. JSON 모드는 '유효한 JSON'만 보장하지만, 구조화 출력은 strict: true로 제공한 JSON 스키마를 모델이 반드시 따르도록 제약한다 — 즉 형식뿐 아니라 필드·타입 준수까지 보장된다. 함수 호출은 모델이 어떤 도구를 어떤 인자로 부를지 결정하게 하는 메커니즘이며, 여기에도 스키마 강제를 결합할 수 있다. 실무 구분은 이렇다 — 외부 행동(도구 실행)을 트리거하려면 함수 호출을, 단지 응답을 타입 안전한 JSON으로 받아 후속 코드에 넘기려면 구조화 출력을 쓴다. 둘은 배타적이지 않고 함께 쓰인다. 참고로 OpenAI의 구형 Assistants API는 2026년 8월 26일 종료 예정이므로 신규 설계는 최신 권장 경로(Responses/Agents 계열)를 따르는 것이 안전하다. 한국 팀이 안정적 파이프라인을 만들 때 파싱 실패·재시도 비용을 크게 줄여 준다.
컨텍스트 엔지니어링 입문: 무엇을 언제 어떻게 넣을지 설계하기
에이전트 품질은 모델 자체보다 컨텍스트 창에 무엇을 채우느냐에 점점 더 좌우된다. 컨텍스트 엔지니어링은 시스템 지침·사용자 입력·검색 문서·메모리·세션 상태·도구 결과를 한정된 토큰 예산 안에 어떻게 배치할지 설계하는 작업이다. 핵심 기법은 여섯 가지다 — 압축(추출·추상 요약, 사실 추출), 메모리 큐레이션, 프롬프트 캐싱, 요약 아티팩트, RAG, 필터링. 특히 RAG에서는 모든 청크를 그냥 프롬프트에 쏟아붓는 대신, 높은 재현율로 50개 후보를 검색한 뒤 리랭킹으로 상위 5개로 정밀화하는 파이프라인이 일반적으로 더 낫다. 청킹·임베딩·재현율/정밀도 트레이드오프, 최신성 가중치, 중요도 임계값을 함께 다뤄야 환각을 줄이고 비용을 통제할 수 있다. '컨텍스트가 길수록 좋다'는 직관은 종종 틀린다 — 관련성 낮은 토큰은 노이즈이자 비용이다.
오픈소스 코딩 LLM, DeepSeek·Qwen·Kimi가 에이전틱 코딩서 프런티어 추격
2026년 들어 오픈웨이트 코딩 모델이 폐쇄형 프런티어 모델과의 격차를 빠르게 좁히고 있다. DeepSeek-V4(Pro/Flash, 1M 컨텍스트·MIT 라이선스), Qwen3.6 계열의 오픈웨이트 공개, Kimi K2.6, GLM-5.1 등이 멀티스텝 과제 완수, 도구 호출 정확도, 복구 가능한 실패 처리 같은 에이전틱 코딩 지표에서 의미 있는 성과를 보였다. 여러 서드파티 벤치마크(SWE-bench 계열·LiveBench 스냅샷)에서 상위 오픈모델 간 점수 차가 0.2~수 점 수준으로 좁혀졌다는 보고도 나온다. 단, 이런 수치는 측정 시점·하니스·프롬프트에 민감하므로 자사 코드베이스에서 직접 재현 평가하는 것이 필수다. 한국 개발자에게 핵심은 MIT·Apache 등 관대한 라이선스 + 1M 컨텍스트 조합이 온프레미스·VPC 자체 호스팅과 보안 민감 코드 작업의 선택지를 넓힌다는 점이다.