본문으로 건너뛰기

개발·코딩개발자 · 기획·전략

LLM 앱 평가·관측

AI 기능의 응답 품질을 데이터셋으로 평가하고 운영 중 호출을 추적하는 업무

출처 6건 · 공개 자료 기준

이 업무의 특징

LLM을 쓰는 기능은 같은 입력에도 응답이 달라질 수 있어, 배포 전 시험과 운영 중 확인을 함께 운영합니다. LangSmith 문서는 평가를 두 가지로 나눕니다. 개발 단계에서 정리한 데이터셋으로 버전을 비교하고 회귀를 잡는 오프라인 평가, 실제 사용자 요청을 실시간으로 평가하는 온라인 평가입니다[2]. 관측 도구는 모델 호출뿐 아니라 검색·임베딩·외부 API 호출까지 한 번의 실행 기록(트레이스)으로 남기고, 비용과 지연 시간을 함께 보여 줍니다[4]. 이 업무의 도구는 대부분 무료 요금제로 시작해 기록량(트레이스·처리 데이터)에 따라 요금이 늘어나는 구조입니다[1][3][5].

상황별 선택

  • LangChain·LangGraph로 만든 에이전트의 실행 기록과 평가를 한곳에서 관리

    LangSmith

    무료 Developer 요금제에 월 기본 트레이스 5,000건이 포함되고, 오프라인·온라인 평가와 사람 검토용 주석 대기열을 제공합니다[1][2].

  • 데이터를 자체 서버에 두고 오픈소스로 운영

    Langfuse

    오픈소스로 공개되어 있고 직접 설치(셀프 호스팅)할 수 있으며, 프롬프트 버전 관리와 평가 기능을 함께 제공합니다[3][4].

  • 팀원 수가 많고 평가 실험을 자주 반복

    Braintrust

    무료 Starter 요금제부터 사용자·프로젝트·실험 수에 제한이 없다고 요금 페이지에 적혀 있습니다[5].

  • 멀티모달(이미지·음성·PDF) 응답까지 추적·평가

    Arize AI

    요금 페이지 기능 표에 이미지·음성·PDF 추적과 평가가 포함되어 있습니다[6].

AI가 잘하는 것과 확인이 필요한 것

AI가 잘하는 것

  • 모델 호출, 검색, 도구 실행을 한 번의 실행 기록으로 묶어 어느 단계에서 오류나 지연이 생겼는지 보여 줍니다.
  • 정해 둔 데이터셋으로 프롬프트·모델 변경 전후의 결과를 같은 기준에서 비교합니다.
  • 운영 중 요청 일부를 자동으로 채점해 품질 저하를 일찍 알립니다.
  • 토큰 사용량과 비용을 사용자·기능별로 집계합니다.

확인이 필요한 것

  • 자동 채점 기준(평가 프롬프트·점수 규칙)이 실제 업무의 좋은 답과 일치하는지 사람이 표본으로 확인합니다.
  • 평가 데이터셋이 실제 사용자 요청을 대표하는지 주기적으로 점검합니다.
  • 실행 기록에 개인정보·고객 데이터가 담기지 않도록 전송 범위와 마스킹 설정을 확인합니다.
  • 점수가 올라간 변경이 다른 유형의 요청에서 품질을 떨어뜨리지 않았는지 확인합니다.

추천 도구

  • 추천 1

    LangSmith

    에이전트 실행 추적과 오프라인·온라인 평가를 한곳에서 관리

    무료 범위
    Developer 요금제 무료(1명), 월 기본 트레이스 5,000건 포함, 이후 사용량 과금[1]
    유료 시작 요금
    Plus 사용자당 월 $39, 월 기본 트레이스 10,000건 포함, 추가 트레이스는 사용량 과금[1]
    한국어 지원
    화면
    공식 자료에서 확인하지 못한 항목
    결과물
    공식 자료에서 확인하지 못한 항목
    고객지원
    공식 자료에서 확인하지 못한 항목

    2026년 11월 8일 확인 · 선정 근거: 무료 범위와 유료 시작 요금, 오프라인·온라인 평가 기능을 공식 요금 페이지와 문서에서 확인했습니다.

  • 추천 2

    Langfuse

    오픈소스·셀프 호스팅으로 추적·프롬프트 관리·평가 운영

    무료 범위
    클라우드 Hobby 무료(월 50,000유닛, 데이터 30일 보관, 사용자 2명)[3]. 오픈소스로 직접 설치해 운영할 수 있습니다[4]
    유료 시작 요금
    클라우드 Core 월 $29(월 100,000유닛, 데이터 90일 보관, 사용자 수 제한 없음), 추가 100,000유닛당 $8[3]
    한국어 지원
    화면
    공식 자료에서 확인하지 못한 항목
    결과물
    공식 자료에서 확인하지 못한 항목
    고객지원
    공식 자료에서 확인하지 못한 항목

    2026년 11월 8일 확인 · 선정 근거: 오픈소스·셀프 호스팅 여부와 클라우드 요금을 공식 문서와 요금 페이지에서 확인했습니다.

  • 추천 3

    Braintrust

    평가 실험 반복과 운영 추적을 팀 단위로 운영

    무료 범위
    Starter 무료: 월 처리 데이터 1GB, 점수 10,000건, 14일 보관, 사용자·프로젝트 수 제한 없음[5]
    유료 시작 요금
    Pro 월 $249: 처리 데이터 5GB, 점수 50,000건, 30일 보관 포함[5]
    한국어 지원
    화면
    공식 자료에서 확인하지 못한 항목
    결과물
    공식 자료에서 확인하지 못한 항목
    고객지원
    공식 자료에서 확인하지 못한 항목

    2026년 11월 8일 확인 · 선정 근거: 무료 범위와 유료 요금, 포함 사용량을 공식 요금 페이지에서 확인했습니다.

  • 대안

    Arize AI

    멀티모달 응답 추적과 에이전트 경로 평가

    무료 범위
    AX Free: 월 트레이스 스팬 25,000건, 데이터 1GB, 15일 보관, 평가 횟수 제한 없음[6]
    유료 시작 요금
    AX Pro 월 $50: 월 스팬 50,000건, 데이터 10GB, 30일 보관[6]
    한국어 지원
    화면
    공식 자료에서 확인하지 못한 항목
    결과물
    공식 자료에서 확인하지 못한 항목
    고객지원
    공식 자료에서 확인하지 못한 항목

    2026년 11월 8일 확인 · 선정 근거: 무료 범위와 유료 요금, 멀티모달 추적·평가 기능을 공식 요금 페이지에서 확인했습니다.

추천 순서는 공개 자료로 확인한 무료 범위·요금·기능·한국어 지원을 기준으로 정했습니다. 제휴 여부는 순서에 반영하지 않습니다.

무료로 시작하는 방법

  1. LangSmith: 카드 등록 없이 가입해 Developer 요금제로 월 기본 트레이스 5,000건까지 기록할 수 있습니다[1][2].
  2. Langfuse: 클라우드 Hobby 요금제로 시작하거나, 오픈소스 버전을 자체 서버에 설치해 운영할 수 있습니다[3][4].
  3. Braintrust·Arize: 무료 요금제로 추적과 평가를 시작하고, 보관 기간과 처리량이 부족해지면 유료로 전환합니다[5][6].

단계별 진행 방법

  1. 1

    평가 기준 정하기

    정확성, 출처 일치, 형식 준수, 금지 응답 등 이 기능에서 좋은 답의 기준을 문장으로 정리합니다.

  2. 2

    실행 기록 연결

    SDK나 OpenTelemetry로 모델 호출과 검색·도구 실행을 기록하고, 개인정보 마스킹 범위를 먼저 설정합니다.

  3. 3

    평가 데이터셋 만들기

    실제 요청과 실패 사례를 모아 데이터셋을 만들고, 기대 답이나 채점 기준을 붙입니다.

  4. 4

    변경 전후 비교

    프롬프트·모델·검색 설정을 바꿀 때마다 같은 데이터셋으로 실험을 돌려 점수와 비용·지연을 비교합니다.

  5. 5

    운영 중 표본 채점

    운영 요청 일부에 자동 평가를 걸고, 점수가 낮은 기록은 사람이 검토해 데이터셋에 추가합니다.

주의점

  • 요금은 대부분 기록량(트레이스·스팬·처리 데이터)에 따라 늘어나므로, 운영 전에 하루 요청 수 기준으로 월 사용량을 추정합니다.
  • 무료 요금제는 데이터 보관 기간이 짧습니다. 장기 비교가 필요하면 보관 기간과 내보내기 기능을 확인합니다.
  • 자동 채점에 쓰는 모델 호출 비용이 별도로 발생할 수 있습니다.

이 페이지의 기준

이 페이지는 각 서비스의 공식 요금·기능·도움말과 공개 조사 자료만으로 작성했습니다. AIPida의 자체 측정이나 점수는 포함하지 않습니다. 제휴·광고 여부는 서비스 선정과 순서에 반영하지 않습니다. 요금과 기능은 바뀔 수 있으므로 결제 전에 공식 페이지에서 확인해 주세요.

표의 「—」는 공식 자료에서 값을 확인하지 못한 항목입니다.

사실과 다른 내용은 contact@aipida.com로 정정을 요청할 수 있습니다. 출처를 확인한 뒤 반영합니다.

출처

  1. [1]LangSmith Pricing · LangChain · 2026년 11월 8일 확인
  2. [2]LangSmith Evaluation · LangChain · 2026년 11월 8일 확인
  3. [3]Langfuse Pricing · Langfuse · 2026년 11월 8일 확인
  4. [4]Langfuse Overview · Langfuse · 2026년 11월 8일 확인
  5. [5]Braintrust Pricing · Braintrust · 2026년 11월 8일 확인
  6. [6]Arize AX Pricing · Arize AI · 2026년 11월 8일 확인