외부 텍스트가 시스템 프롬프트를 덮어썼습니다. 프롬프트 인젝션, 어디부터 막아야 하나요?

답변 1개

• 채택된 답변에디터 검증

  먼저 원인부터 짚겠습니다. 프롬프트 문구로 못 막는 건 정상입니다. LLM 입장에서 시스템 프롬프트와 외부 문서는 결국 같은 토큰 스트림이라 "명령 vs 데이터" 경계가 원천적으로 없습니다. 구분자로 감싸거나 "지시 무시하지 마"를 붙이는 방어(스포트라이팅/딜리미팅)는 공격 난도를 올릴 뿐 근본 차단이 아닙니다. OWASP도 LLM01(Prompt Injection)을 "완전 예방 불가, 다층 방어 대상"으로 못박습니다. 그래서 목표를 "모델이 안 속게"가 아니라 "속아도 피해가 없게"로 바꿔야 합니다.

  가장 먼저 끊을 것: 치명적 세 요소(lethal trifecta)

  실제 피해는 세 조건이 동시에 살아 있을 때만 납니다(Simon Willison의 lethal trifecta). ① 민감 데이터 접근, ② 신뢰 못 하는 외부 콘텐츠 유입, ③ 외부로 내보내는 능력(메일·웹훅·outbound fetch). 셋 중 하나만 끊어도 인젝션이 통해도 유출로 이어지지 않습니다. 위 사례는 ①과 ③이 살아 있으니 여기부터입니다.

  순서대로 쌓을 방어층

  1. 권한 최소화: 외부 문서를 파싱하는 LLM에는 메일·삭제·결제 툴을 붙이지 않습니다. 요약용 키와 발송용 키를 역할별로 분리합니다.
  2. 아키텍처 분리(dual-LLM/quarantined): 신뢰 못 할 텍스트는 툴 없는 격리 LLM이 처리해 구조화 데이터만 반환하고, 툴을 든 특권 LLM은 그 원문을 프롬프트로 보지 않습니다. Google의 CaMeL이 이 방향입니다.
  3. 출력 검증: 모델 출력을 자유형이 아니라 스키마와 행동 allowlist로 강제합니다. 열거값만 통과시키고 나머지는 드롭합니다.
  4. 사람 승인 게이트: 되돌릴 수 없는 행동(외부 메일·결제·대량 변경)은 사람 확정 뒤 실행합니다.

  const parsed = await quarantinedLLM(userDoc); // 툴 없음, JSON만
  const action = ActionSchema.parse(parsed);    // allowlist 밖이면 throw
  if (action.type === "send_email") {
    await requireHumanApproval(action);         // 게이트
  }
  

  트레이드오프

  격리 LLM은 호출이 2번이라 지연·비용이 늘고, 승인 게이트는 UX를 끊습니다. 그래서 전 요청이 아니라 "외부 콘텐츠 + 부작용 있는 툴"이 겹치는 경로에만 적용하세요. 반대로 읽기 전용·내부 데이터만 다루는 플로우에 dual-LLM까지 넣는 건 과설계입니다. 그리고 어떤 조합도 100%는 아닙니다. 이상 출력·유출 시도 로깅 같은 탐지와 최소권한을 항상 병행하세요.

  2026년 6월 28일도움됨 19

  신고