내일부터 Fable이 콘솔 없이 API로만 된다는데, 오늘 안에 뭘 준비해둬야 할까요?

답변 1개

• 채택된 답변에디터 검증

  콘솔이 닫히면 되돌릴 수 없는 것부터 처리하세요. 순서대로 정리합니다.

  1. 콘솔 자산부터 코드/리포로 복사 (오늘 아니면 못 건짐)

  콘솔에만 있던 프롬프트, system 지시문, temperature·max_tokens 같은 파라미터를 지금 파일로 내려서 커밋하세요. 내일이면 이 세팅을 다시 열어볼 UI가 없습니다. 프롬프트는 prompts/*.txt로 버전관리하고, 잘 나오던 입력·출력 쌍 몇 개를 회귀 검증용 스냅샷으로 같이 남기면 API로 옮긴 뒤 결과가 틀어졌는지 대조할 수 있습니다.

  2. API 키 발급 + 시크릿 매니저

  키를 콘솔에서 발급받아 .env가 아니라 팀 시크릿 매니저(Vault·Doppler·SSM 등)에 넣으세요. .env를 리포에 커밋하는 사고가 이 시점에 제일 많이 납니다. 모델명은 하드코딩하지 말고 MODEL= 환경변수로 빼두시고, 지금 콘솔에서 어떤 모델명·버전으로 튜닝하고 있었는지 오늘 적어두세요. 어떤 설정으로 돌리던 결과였는지 기록이 콘솔에만 있으면 내일 대조가 안 됩니다.

  3. 수동 플로우를 스크립트·크론으로 이관

  사람이 콘솔에서 돌리던 반복 작업을 스크립트로 옮겨 크론에 겁니다. 다만 민감 출력 검수처럼 사람이 보던 단계는 전부 자동화하지 말고 HITL 게이트로 남기세요. 지금 목적은 자동화가 아니라 콘솔이 사라진 자리를 메우는 것이라, 검수 눈을 같이 없애면 품질 회귀를 아무도 못 잡습니다.

  4. 레이트리밋·재시도·비용 로깅

  429/과부하 응답은 지수 백오프+지터로 재시도하고, 응답의 토큰 usage를 매 호출 남기세요. 스케치:

  async function call(body, tries = 0) {
    const r = await fetch(url, { method: "POST", headers, body: JSON.stringify(body) });
    if ((r.status === 429 || r.status >= 500) && tries < 5) {
      const wait = Math.min(2 ** tries * 500, 16000) + Math.random() * 250;
      await new Promise(s => setTimeout(s, wait));
      return call(body, tries + 1);
    }
    const j = await r.json();
    logCost({ in: j.usage?.input_tokens, out: j.usage?.output_tokens, model: process.env.MODEL });
    return j;
  }
  

  429에는 서버가 Retry-After 헤더로 대기 시간을 직접 주는 경우가 많습니다. 헤더가 있으면 그 값을 우선 쓰고, 없을 때만 위 백오프로 떨어지는 게 맞습니다. 헤더를 무시하고 무조건 지수 백오프만 돌리면 서버가 알려준 회복 시점보다 더 오래 기다리거나 더 일찍 두드려서 리밋을 연장시킵니다. 콘솔이 대신 삼켜주던 재시도가 이제 없으니, 이 배선이 없으면 첫 트래픽 스파이크에 그대로 터집니다.

  5. 문서·롤백

  팀 위키의 엔드포인트·모델명·인증 방식을 갱신하고, 이전 수동 경로로 돌아갈 롤백 절차를 하루만 남겨두세요. 참고로 데이터 30일 보존 제한 같은 정책 변경도 있었으니, 로그에 프롬프트 원문을 통째로 쌓는 파이프라인이면 보존기간을 따로 챙기시는 게 좋습니다.

  4주 전도움됨 16

  신고