Category
출시 사흘 만인 6월 12일 오후(ET) 미국 정부가 수출통제 지시를 발동해 Fable 5·Mythos 5 접속을 전면 중단시켰다. '국가안보 권한'을 근거로 전 세계 모든 외국 국적자(Anthropic 외국인 직원 포함)의 사용을 막으라는 지시였고, Anthropic은 컴플라이언스를 위해 외국인뿐 아니라 '모든 고객'에게 두 모델을 비활성화했다. 다른 모델은 정상이다. 정부가 지목한 사유는 Fable 5의 좁은(비-보편적) 탈옥(jailbreak) 기법 — 소프트웨어 취약점을 분석·수정하도록 요청하는 시연이었다. Anthropic은 '수천 시간 동안 US 정부·UK AISI·외부 레드팀과 함께 가드레일을 검증했고 어떤 테스터도 광범위한 사이버 역량을 가로지르는 보편적 탈옥을 찾지 못했다'며, '좁은 잠재 탈옥 발견이 수억 명에게 배포된 상용 모델을 회수할 근거는 아니다'라고 공개적으로 이견을 밝혔다. 복구 시점은 미정이며 '가능한 빨리 복구하겠다'고만 했다.
에이전트 보안의 현실 점검이 6월에 집중됐다. OWASP GenAI Security Project의 6월 11일 보고서는 프롬프트 인젝션이 'LLM이 텍스트를 읽는 방식 자체에 내재'된 결함이며, 지난 1년의 CVE와 공급망 침해가 어떤 패치도 이를 닫지 못했음을 보여준다고 진단했다. 핵심 위협 모델은 'lethal trifecta' — ① 민감 데이터 접근 ② 신뢰 못 할 외부 콘텐츠 노출 ③ 외부 통신 능력, 이 셋이 한 에이전트에 겹치면 단 한 줄의 주입 프롬프트로 데이터 유출 도구가 된다. LLM은 시스템 프롬프트·사용자 입력·검색된 콘텐츠를 단일 토큰 시퀀스로 처리해 권한 경계를 신뢰성 있게 강제할 메커니즘이 없다는 게 구조적 원인이다. 실제 사고도 잇따랐다 — LiteLLM(CrewAI·DSPy·GraphRAG의 LLM 게이트웨이) 백도어가 3월 PyPI에 약 3시간 노출돼 4.7만 다운로드가 발생했고, MCP 코어 인프라의 RCE 취약점(CVE-2025-6514, CVSS 9.6)과 최대 20만 개의 취약 MCP 인스턴스 노출이 보고됐다. 'tool poisoning'(도구 메타데이터에 숨긴 명령)이 새로운 인젝션 벡터로 떠올랐다.
2026년 상반기는 AI 규제가 '문서상 의무'에서 '실제 집행'으로 넘어간 분기점이다. EU AI Act의 범용 AI(GPAI) 모델 의무는 2025년 8월부터 법적으로 발효된 상태였지만, 2026년 8월 2일부터 EU AI Office가 정식 집행 권한을 갖는다. 전 세계 연매출의 3% 또는 1,500만 유로 중 큰 금액까지 과징금을 부과할 수 있고, 문서·정보 요청, 모델 평가, 시정·회수 명령 권한이 생긴다. 2025년 8월 이전 출시된 모델은 2027년 8월까지 유예된다. 5월 7일 Digital Omnibus 정치 합의로 이 일정이 그대로 간다는 점이 확인됐다. 한국은 한발 앞서 1월 22일 'AI 기본법'과 시행령이 발효됐다 — 세계 첫 시행 가능한 고영향(high-impact) AI 규제법으로 평가된다. 의료·에너지·공공서비스 등 고영향 영역의 영향평가, 위험관리체계와 인적 감독, 생성형 AI 산출물의 표시(라벨링), 국내 대리인 지정 의무를 담았다. 다만 벌칙 조항 적용은 1년 유예됐다.
AI 학습데이터 저작권 소송의 윤곽이 2025~2026년 판결로 점차 잡혔다. Bartz v. Anthropic과 Kadrey v. Meta는 2025년 6월 이틀 간격으로 나왔는데, 둘 다 '저작물로 LLM을 학습시키는 행위 자체'는 공정이용(fair use)이 될 수 있다고 봤다. 법원은 저자가 학습용 라이선스 수익을 당연히 받을 권리가 있는 것은 아니며, 학습데이터 라이선스 시장은 저작권법이 보장하는 시장이 아니라고 판시했다. 그러나 두 판결은 두 지점에서 갈렸다 — 학습에 '해적판(pirated)' 콘텐츠를 쓴 것의 책임, 그리고 AI 산출물의 시장 잠식 효과를 손해 분석에 넣을지 여부다. 반면 Thomson Reuters v. Ross Intelligence(2025년 2월)는 헤드노트 복제가 공정이용이 아니라고 봤는데, 해당 AI가 저작권자의 상품과 직접 경쟁했다는 점(1·4 요소)이 결정적이었다. 즉 '학습은 공정이용일 수 있다'는 일반 면죄부가 아니며, 출력이 원저작물 시장을 직접 대체하면 판단이 뒤집힌다.
에이전트와 도구를 연결하는 MCP가 빠르게 확산되면서 그 신뢰 모델을 노린 취약점이 잇따라 공개됐다. MCPoison(CVE-2025-54136)과 CurXecute(CVE-2025-54135)는 '도구 포이즈닝(tool poisoning)'을 실증했다. MCP 서버를 통제하는 공격자가 도구 설명(descriptor)에 지시문을 심으면, 에이전트는 그것을 시스템 개발자가 작성한 신뢰 가능한 메타데이터로 가정하고 모델에 그대로 전달한다. 별도의 정제·출처 검증 없이 전체 권한으로 실행되므로, 사용자 측 탈옥보다는 에이전트 컨텍스트에 대한 공급망 공격에 가깝다. 또한 개발용 도구인 MCP-Inspector에서는 인증 없는 인스턴스를 통해 원격 명령이 실행되는 취약점(CVE-2025-49596, CVSS 9.4)이 보고됐고, STDIO 전송이 입력 정제 없이 설정에서 명령 실행으로 이어지는 구조적 결함도 지적됐다. NSA도 MCP 보안 권고를 발표했다.
OWASP가 정리한 LLM 애플리케이션 보안 위험 목록에서 프롬프트 인젝션(LLM01)은 여전히 1순위다. 2025년 정의는 직접(direct)과 간접(indirect) 인젝션을 모두 포함하도록 확장됐다. 직접 인젝션은 사용자 입력이 모델 동작을 직접 바꾸는 경우이고, 간접 인젝션은 웹페이지·문서 같은 외부 소스에서 받은 입력이 의도치 않은 결과를 유발하는 경우다. 도구가 애플리케이션에 연결돼 있으면 인젝션이 연결 시스템에서 임의 명령 실행으로 번질 수 있어 위험도가 크다. 성공 시 민감 데이터·인프라 정보 노출, 무단 접근, 모델 의사결정 조작으로 이어진다. 2025 목록에는 '시스템 프롬프트 유출(system prompt leakage)'과 '벡터·임베딩 취약점(vector and embedding weaknesses)' 두 항목이 신규 진입했고, 다섯 항목이 현재 위협을 반영해 개명·확장됐다. RAG와 도구 호출이 늘수록 간접 인젝션 대비가 필수다.
EU AI Act의 범용 AI(GPAI) 모델 제공자 의무는 2025년 8월 2일부터 적용이 시작됐고, 2026년 8월 2일부터 유럽연합 집행위원회가 과징금을 포함한 전면 집행에 들어간다. 첫 1년간 AI Office는 실천강령(Code of Practice)을 준수하는 제공자와 협력 모드로 운영해, 즉시 모든 약속을 이행하지 못해도 '선의(good faith)'로 간주하고 완전한 준수를 함께 모색하는 유연한 접근을 택했다. 2025년 8월 2일 이전에 시장에 출시된 GPAI 모델은 2027년 8월 2일까지 의무를 맞추면 되는 경과 규정도 있다. 과징금은 GPAI 제공자에 대해서는 집행위가, 그 외 운영자에 대해서는 각국 당국이 부과한다. 한국 기업이라도 EU 시장에 모델·서비스를 제공하면 역외 적용되므로 학습 데이터 요약 공개, 저작권 정책, 기술 문서 같은 GPAI 의무를 점검해야 한다.
2025년 6월 미국 캘리포니아 북부지법의 William Alsup 판사는 Anthropic이 합법적으로 취득한 도서를 AI 학습에 사용한 것은 '본질적으로 변형적(transformative)'이어서 공정이용에 해당한다고 판단했다. 그러나 LibGen 같은 섀도 라이브러리에서 해적판 수백만 권을 내려받아 보관한 행위는 공정이용이 아니라고 동시에 판시했다. 이 구분 이후 사건은 약 15억 달러 규모로 합의됐고, 저작물 1건당 약 3,000달러 수준의 지급이 추정되는 미국 최대 규모 저작권 합의가 됐다. 즉 '학습 행위 자체'는 보호받을 수 있어도, 학습 데이터를 어떻게 '취득·보관'했는지가 별개의 책임을 만든다는 점이 핵심이다. Meta의 Llama 학습 관련 유사 소송에서도 공정이용 쟁점에서 일부 각하가 있었다.
AI 생성물의 출처와 무결성을 증명하는 표준으로 C2PA(콘텐츠 자격증명, Content Credentials)가 사실상의 산업 표준으로 자리잡고 있다. 콘텐츠에 누가·무엇으로·언제 만들고 편집했는지를 변조 탐지가 가능한 매니페스트로 첨부하는 방식이다. 규제 측면에서 미국 NSA·CISA가 2025년 1월 정부·국가안보 시스템에 C2PA 채택을 권고하는 공동 가이드를 냈고, 2026년 8월 효력의 EU AI Act가 요구하는 AI 생성물 투명성 라벨링을 C2PA의 AI assertion 타입이 직접 충족한다. 한국 'AI 기본법'의 생성형 AI 표시 의무와도 맞물린다. 기술적으로는 사양 v2.3(2025년 12월)이 라이브 영상 스트리밍과 비정형 텍스트 매니페스트를 지원해 LLM 출력까지 출처 표기를 확장했다. Google Pixel 카메라 하드웨어(Assurance Level 2), TikTok의 사실적 AI 콘텐츠 라벨링 등 하드웨어·플랫폼 채택도 늘고 있다.
한국이 세계 최초로 AI 규제법을 전면 시행한 국가가 됐다. 과학기술정보통신부가 주관하는 'AI 기본법'은 2026년 1월 22일부터 효력을 발휘하며, 진흥과 신뢰를 동시에 추구하는 진흥 중심 설계가 특징이다. 핵심 의무는 두 갈래다. 첫째, 사람의 생명·신체 안전과 기본권에 중대한 영향을 미치는 '고영향 AI'(의료 진단, 신용평가, 채용, 자율주행 등) 제공 사업자는 영향평가와 투명성·안전성 확보 조치를 이행해야 한다. 둘째, 생성형 AI가 만든 문서·이미지·영상에는 AI 생성물임이 드러나도록 워터마크 표시 의무가 부과된다. 정부는 통합안내지원센터와 전문가 컨설팅을 운영하므로, 기업은 내부 AI 시스템 점검·투명성 표시 체계·AI 거버넌스 수립을 서둘러 완료해야 한다. EU는 단계적 시행 중이라 전면 시행은 한국이 앞섰다.