KORA, AI 추론 호출 전 결정론적 경로를 먼저 시도하는 실행 제어 구조 제안

KORA: Deterministic-First Execution Control for AI Workloads

KORA는 AI 애플리케이션이 모델 추론 여부를 판단하기 전에 모델을 호출하는 기존 방식을 바꾸는 결정론적 우선(deterministic-first) 실행 제어 계층이다. 요청을 작업 경로로 표현하고, FAQ 조회·정책 검사·스키마 검증 같은 결정론적 경로를 먼저 시도한 뒤 필요할 때만 모델 후보 경로로 넘긴다. 100개 작업으로 구성된 결정론적 위주 벤치마크에서 KORA 제어 실행은 단순 직접 호출 기준선과 비교해 시뮬레이션된 모델 호출 100회 중 80회를 피했고, 결정론적 하위 집합에서는 불일치가 0건이었다. 작업 범주에는 FAQ 조회, 정책·규칙 검사, 스키마·형식 검증, 결정론적 변환과 함께 모델이 필요한 소수의 모호하거나 생성형 작업이 포함됐다. 별도의 합성 고객지원 로컬·무네트워크 검증 워크로드에서는 경로 측정과 회피된 모델 호출 집계를 보였다. 저자들은 이 결과가 문서화된 워크로드에서 제한된 모델 호출 감소와 검증 가시성을 뒷받침한다고만 밝혔다. 실제 운영 환경 동작, 실제 제공자 결과, 에너지 효과, API 비용 절감, 전반적 우월성은 입증되지 않았다고 명시했다.