개발 운영

Functionize

앱 테스트·배포

AI가 작성한 코드의 품질을 검증하는 AI 기반 테스트 자동화 플랫폼

Galileo

API·LLM 관측

AI 에이전트와 LLM 앱의 평가·관측·가드레일을 제공하는 플랫폼

Grafana

API·LLM 관측

메트릭·로그·트레이스를 통합하고 AI 어시스턴트와 에이전트 관측을 제공하는 관측 플랫폼

클라우드와 AI 모델 사용 비용을 추적·최적화·통제하는 비용 관리 모듈

Helicone

API·LLM 관측

LLM 호출 라우팅과 사용량·비용 모니터링을 제공하는 오픈소스 AI 게이트웨이

분산 트레이싱과 LLM 관측을 제공하는 개발자용 관측 플랫폼

클라우드·AI 지출을 추적·배분하고 AI 기반 예측을 제공하는 엔터프라이즈 FinOps 플랫폼

Katalon

앱 테스트·배포

웹·모바일·API 테스트를 AI로 생성·실행·관리하는 테스트 자동화 플랫폼

Kobiton

앱 테스트·배포

실제 모바일 기기 클라우드와 AI 기반 스크립트 생성·자동 복구를 제공하는 모바일 앱 테스트 플랫폼

Kong AI Gateway

API·LLM 관측

LLM·MCP 호출의 보안, 라우팅, 관측, 비용 통제를 제공하는 AI 게이트웨이

Label Studio

데이터 품질 관리

이미지·텍스트·음성 데이터 라벨링과 AI 모델 평가를 지원하는 오픈소스 도구

Labelbox

데이터 품질 관리

AI 학습용 전문가 데이터와 모델 평가 환경을 제공하는 데이터 플랫폼

Langfuse

API·LLM 관측

AI 에이전트·LLM 앱의 호출 추적, 평가, 프롬프트 관리를 제공하는 오픈소스 관측 플랫폼

LangSmith

API·LLM 관측

AI 에이전트·LLM 앱의 실행 추적, 비용·지연 모니터링, 평가를 제공하는 관측 플랫폼

LiteLLM

API·LLM 관측

여러 모델 API를 하나의 OpenAI 호환 키로 묶어 비용을 추적하는 오픈소스 AI 게이트웨이

mabl

앱 테스트·배포

에이전트형 AI로 웹·모바일 테스트를 생성하고 자동 복구하는 테스트 자동화 플랫폼

Microsoft Cost Management

클라우드 비용 관리

Azure 사용 비용을 추적·분석하고 Copilot으로 비용을 요약하는 관리 도구

모델·LLM·에이전트의 실험 기록, 추적, 평가를 지원하는 오픈소스 AI 플랫폼

Modelpeers

API·LLM 관측

AI 모델과 에이전트의 변경 사항을 모으는 피드

Momentic

앱 테스트·배포

AI QA 엔지니어가 웹·iOS·Android 앱을 테스트하고 회귀 테스트로 전환하는 테스트 도구

Monte Carlo

데이터 품질 관리

데이터 파이프라인과 AI 에이전트의 품질 이상을 감지하는 관측 플랫폼

New Relic

API·LLM 관측

애플리케이션 성능 모니터링과 AI 앱 관측을 제공하는 관측 플랫폼

nOps

클라우드 비용 관리

약정 할인 자동 관리와 AI 사용 비용 배분을 제공하는 클라우드 비용 최적화 플랫폼

Opik

API·LLM 관측

AI 에이전트의 추적·평가·개선을 제공하는 Comet의 오픈소스 관측 플랫폼