Category
보안·규제·저작권
프롬프트 인젝션, 데이터 유출, 개인정보·저작권, AI 규제까지 LLM 서비스가 떠안는 위험 영역이다. 모델에 들어가고 나오는 데이터가 곧 공격면이자 컴플라이언스 대상이다. 한국은 개인정보보호법과 생성물 저작권 판단이 빠르게 정리되는 중이라 설계 단계부터 따져야 한다.
Epoch의 Cyber Vulnerabilities explorer 출시 및 FrontierMath Version 2 발표
Epoch에서 Cyber Vulnerabilities explorer를 출시하여 AI가 사이버 보안에 미치는 영향을 정량화할 수 있게 되었다. 이 도구는 2022년 이후 CVE 프로그램에 보고된 취약점을 추적하며, Microsoft, Google, Apple, Linux 등 21개 주요 벤더와 오픈소스 프로젝트에 대한 데이터를 필터링할 수 있다. 또한, FrontierMath Version 2가 출시되었으며, Claude Fable 5가 Tiers 1-3에서 87%, Tier 4에서 88%의 점수를 기록하며 1위에 올랐다. 한편, 미국의 AI 인프라가 GDP의 약 1.5%를 차지하게 되었고, 이는 2015-2022년 평균의 약 0.7%에서 증가한 수치이다.
AGI 이후 자본 통제와 재분배 방안
AGI가 경제적 출력을 증가시킬 수 있지만, 많은 일자리를 잃게 하고 불평등을 심화시킬 수 있다. 이에 대한 재분배 방안으로는 보편적 기본 소득(UBI), 보편적 기본 서비스(UBS), 보편적 기본 자본(UBC), 그리고 주권 재산 기금(SWF) 등이 제안되고 있다. 각 방안은 정부가 자본을 직접 제공할지, 현금을 지급할지를 두고 논의되며, UBI는 시민의 자본 소득 통제 권한이 제한적이고, UBC는 더 많은 통제를 제공한다.
Claude Mythos Preview와 Mythos 5의 사이버 능력 평가
Anthropic은 Mythos Preview를 통해 AI의 사이버 능력이 크게 향상되었다고 주장하며, 이를 위해 1억 달러 이상의 자금을 투입했다. Mythos Preview는 사이버 공격을 위한 취약점 발견과 악용 개발 능력이 모두 개선되었다고 평가되지만, 일부는 GPT-5.5와 비교했을 때 그 차이가 크지 않다고 주장하고 있다. Cyber-ECI 지표에 따르면 Mythos Preview는 사이버 공격 능력에서 큰 도약을 이룬 것으로 나타났다.
아마존 직원, 데이터 센터 제한 지지로 해고 위협 주장
세 명의 아마존 소프트웨어 엔지니어가 시애틀 시의회 청문회에서 데이터 센터에 대한 증언을 하면서 정치적 발언에 대한 고용 차별 금지 법률을 인용했다. 이들은 고용주가 이 법률을 위반하고 자신들에게 보복하고 있다고 주장하고 있다. 이들은 6월 10일, 청문회 일주일 후 아마존의 '직원 관계' 부서와 즉석 회의에 소집되었고, 인사 담당자들은 회사가 그들에 대한 조사를 진행하고 있다고 전했다.
미국 정부, Anthropic의 Fable 5 모델에 수출 통제 조치
Anthropic의 새로운 AI 모델 Fable 5가 공개된 지 일주일도 채 되지 않아 미국 정부가 이 모델과 그 기반이 되는 Mythos 모델에 수출 통제를 부과했다. 이로 인해 Anthropic은 Fable과 Mythos를 모두 오프라인 상태로 전환했다. 현재 Fable은 여전히 사용할 수 없으며, 이 상황은 미국의 AI 규제 체계에 광범위한 영향을 미칠 것으로 보인다.
Anthropic, Claude Mythos 및 Fable 5 배포 불가
Anthropic은 트럼프 행정부와의 문제로 인해 Claude Mythos와 Fable 5를 배포할 수 없다. 그러나 회사가 정확히 무엇을 잘못했는지는 알려지지 않았다.
아마존 직원, 정치적 신념 표현으로 불법 보복 주장
소프트웨어 엔지니어들이 시애틀의 인권 사무소에 아마존을 상대로 불만을 제기하며, 개인적인 정치적 신념을 표현한 것에 대해 불법적으로 보복을 당했다고 주장하고 있다.
미국 정부, Anthropic의 Fable 5 및 Mythos 5 모델 사용 중단
미국 정부는 Anthropic에게 Fable 5와 Mythos 5 모델을 국가 안보 우려로 인해 사용 중단하도록 강요했다. 이는 Amazon 연구자들이 Fable 5의 가드레일을 우회하는 방법을 발견한 것과 관련이 있다. 사이버 보안 연구자들은 이 조치가 위험하다고 경고하며, Anthropic은 다른 모델에서도 동일한 탈옥 문제가 존재한다고 언급했다.
미국 정부, Anthropic의 Fable 5 및 Mythos 5 모델 출시 중단
미국 정부는 Anthropic에게 Fable 5와 Mythos 5 모델의 출시를 중단하도록 강제했다. 이는 Amazon 연구자들이 Fable 5의 보안 장치를 우회할 방법을 발견했기 때문이며, 사이버 보안 연구자들은 이 조치가 위험하다고 경고하는 공개 서한을 발표했다. Anthropic은 다른 모델에서도 동일한 보안 우회가 존재한다고 언급했다.
ASML, 중국 고객에 대한 수출 라이센스 위험 부담 가능성
ASML이 중국 고객에게 자사의 주요 반도체 장비를 수출하는 것에 대해 상업적 논리가 수출 라이센스를 위험에 빠뜨릴 가능성이 낮다는 주장이 제기되었다.
사이버 보안 소프트웨어 수출 통제의 역사와 Anthropic의 Mythos
지난 30년 동안 사이버 보안 관련 소프트웨어의 흐름을 차단하려는 노력은 효과적이지 않았다. 현재 Anthropic의 사이버 보안 모델인 Mythos가 이러한 통제가 효과를 발휘할지 불확실하다.
미국 정부의 명령으로 앤트로픽의 페이블 5와 미소스 5 서비스 중단, 미소스 프리뷰는 여전히 접근 가능
미국 정부의 명령으로 앤트로픽의 '페이블 5'와 '미소스 5' 서비스가 중단되었지만, '미소스 프리뷰'는 여전히 접근 권한이 유지되고 있다. 블룸버그에 따르면, '프로젝트 글래스윙'을 통해 미소스 프리뷰 사용 권한을 승인받은 일부 기업들은 현재까지도 모델에 접근할 수 있는 것으로 알려졌다. 프로젝트 글래스윙에는 200여 개의 기업과 기관이 참여하고 있으며, 시스코와 드라고스(Dragos) 등 일부 기업들은 미소스 프리뷰에 여전히 접근 중이다.
모두의 창업 합격자 5000명 정보 유출 사건
모두의 창업에서 합격자 5000명의 프로필이 공개된 후, 비인가 경로로 비공식 정보에 접근하려는 시도가 9개의 IP에서 발생했다. 유출된 정보에는 이메일 주소와 아이디어 요약이 포함되어 있으며, 심사평 당일 오후 3시에 이용자 문의를 통해 이 사실을 인지하고 즉각적인 차단 및 보안 조치를 시행했다. 사건 발생일은 6월 16일 오전이다.
LLM을 활용한 맞춤형 사기 수법의 발전
LLM은 채용 인터뷰, 가족 긴급 연락, 은행 이메일, 로맨스 등 다양한 개인별 구실을 만들어 맞춤형 사기를 실행할 수 있으며, 계정 탈취 후 장기 감시와 후속 공격으로 이어질 수 있다. 기존 사기는 저비용 대량 발송형과 고비용 표적형으로 나뉘었지만, LLM은 그 사이를 메우며 표적화된 공격을 가능하게 한다.
미국 정부, Anthropic에 Claude 5 모델 접근 차단 요구
미국 정부가 Anthropic에 최신 Claude 5 Mythos/Fable 모델에 대한 접근을 차단하도록 요구했다. 이 사건은 AI 거버넌스의 새로운 시대의 시작을 알리며, AI 모델의 빠른 발전이 새로운 거버넌스 문제를 야기할 것임을 시사한다. Anthropic은 외국 사용자에 대한 모델 접근을 중단해야 하며, 이는 미국의 AI 산업에 부정적인 영향을 미칠 수 있다. 정부의 조치는 Anthropic에 대한 정치적 압박의 결과로 보이며, AI 모델의 수출 금지가 지속적인 정책이 될 가능성이 있다.
에이전트 스킬, 도구 호출 밖의 새로운 사각지대
에이전트 스킬(skill)은 텍스트 지시문 형태로 모델 추론층에 직접 로드된다. 정해진 인터페이스로 호출되고 로깅되는 MCP 도구 호출과 달리, 스킬은 관측과 감사가 어려운 사각지대를 만든다. Noma Security의 백서 'Lethal by Design'은 공개된 MCP 서버 상당수가 코드 실행 위험을 갖고, 많은 스킬이 위험 특성을 하나 이상 보유한다고 지적한다. OpenClaw의 스킬 마켓플레이스인 ClawHub에서 악성 스킬이 급증한 사례와도 맞물려, 스킬과 플러그인 공급망을 도구 호출과 같은 수준으로 다뤄야 한다는 문제의식이 제기된다.
MCP SDK의 임의 명령 실행 결함과 Anthropic의 수정 거부 논쟁
Anthropic의 MCP SDK(Python·TS·Java·Rust)에서 사용자가 제어하는 설정값을 셸에 검증 없이 그대로 넘겨 임의 명령이 실행되는 RCE 설계 결함이 드러났다. 프로세스 기동이 실패하는 경우에도 명령이 실행되는 점까지 악용 가능하다. 이 문제는 2026년 4월 OX Security가 공개했고, CVE-2026-30623으로 추적된다. 영향 범위가 넓어 LiteLLM·LangFlow·Windsurf·Cursor·Flowise 등 MCP를 채택한 다수 프로젝트에서 연쇄적으로 CVE와 RCE 이슈로 번졌다. Anthropic은 설계상 의도된 동작이며 입력 정화는 개발자 책임이라는 입장으로 수정을 거부해 논쟁이 됐다.
美 정부 수출통제 지시로 Fable 5·Mythos 5 접속 전면 차단, 출시 3일 만의 반전
출시 사흘 만인 6월 12일 오후(ET) 미국 정부가 수출통제 지시를 발동해 Fable 5·Mythos 5 접속을 전면 중단시켰다. '국가안보 권한'을 근거로 전 세계 모든 외국 국적자(Anthropic 외국인 직원 포함)의 사용을 막으라는 지시였고, Anthropic은 컴플라이언스를 위해 외국인뿐 아니라 '모든 고객'에게 두 모델을 비활성화했다. 다른 모델은 정상이다. 정부가 지목한 사유는 Fable 5의 좁은(비-보편적) 탈옥(jailbreak) 기법 — 소프트웨어 취약점을 분석·수정하도록 요청하는 시연이었다. Anthropic은 '수천 시간 동안 US 정부·UK AISI·외부 레드팀과 함께 가드레일을 검증했고 어떤 테스터도 광범위한 사이버 역량을 가로지르는 보편적 탈옥을 찾지 못했다'며, '좁은 잠재 탈옥 발견이 수억 명에게 배포된 상용 모델을 회수할 근거는 아니다'라고 공개적으로 이견을 밝혔다. 복구 시점은 미정이며 '가능한 빨리 복구하겠다'고만 했다.
프롬프트 인젝션은 '버그'가 아니라 '구조적 결함': OWASP 6월 보고서와 MCP 공급망 사고
에이전트 보안의 현실 점검이 6월에 집중됐다. OWASP GenAI Security Project의 6월 11일 보고서는 프롬프트 인젝션이 'LLM이 텍스트를 읽는 방식 자체에 내재'된 결함이며, 지난 1년의 CVE와 공급망 침해가 어떤 패치도 이를 닫지 못했음을 보여준다고 진단했다. 핵심 위협 모델은 'lethal trifecta' — ① 민감 데이터 접근 ② 신뢰 못 할 외부 콘텐츠 노출 ③ 외부 통신 능력, 이 셋이 한 에이전트에 겹치면 단 한 줄의 주입 프롬프트로 데이터 유출 도구가 된다. LLM은 시스템 프롬프트·사용자 입력·검색된 콘텐츠를 단일 토큰 시퀀스로 처리해 권한 경계를 신뢰성 있게 강제할 메커니즘이 없다는 게 구조적 원인이다. 실제 사고도 잇따랐다 — LiteLLM(CrewAI·DSPy·GraphRAG의 LLM 게이트웨이) 백도어가 3월 PyPI에 약 3시간 노출돼 4.7만 다운로드가 발생했고, MCP 코어 인프라의 RCE 취약점(CVE-2025-6514, CVSS 9.6)과 최대 20만 개의 취약 MCP 인스턴스 노출이 보고됐다. 'tool poisoning'(도구 메타데이터에 숨긴 명령)이 새로운 인젝션 벡터로 떠올랐다.
EU AI Act GPAI 제재 발효(8월)와 한국 AI 기본법 시행(1월): 규제가 실집행 단계로
2026년 상반기는 AI 규제가 '문서상 의무'에서 '실제 집행'으로 넘어간 분기점이다. EU AI Act의 범용 AI(GPAI) 모델 의무는 2025년 8월부터 법적으로 발효된 상태였지만, 2026년 8월 2일부터 EU AI Office가 정식 집행 권한을 갖는다. 전 세계 연매출의 3% 또는 1,500만 유로 중 큰 금액까지 과징금을 부과할 수 있고, 문서·정보 요청, 모델 평가, 시정·회수 명령 권한이 생긴다. 2025년 8월 이전 출시된 모델은 2027년 8월까지 유예된다. 5월 7일 Digital Omnibus 정치 합의로 이 일정이 그대로 간다는 점이 확인됐다. 한국은 한발 앞서 1월 22일 'AI 기본법'과 시행령이 발효됐다 — 세계 첫 시행 가능한 고영향(high-impact) AI 규제법으로 평가된다. 의료·에너지·공공서비스 등 고영향 영역의 영향평가, 위험관리체계와 인적 감독, 생성형 AI 산출물의 표시(라벨링), 국내 대리인 지정 의무를 담았다. 다만 벌칙 조항 적용은 1년 유예됐다.
AI 학습 저작권 판결의 갈림길: 학습은 공정이용, 그러나 '해적판'은 별개
AI 학습데이터 저작권 소송의 윤곽이 2025~2026년 판결로 점차 잡혔다. Bartz v. Anthropic과 Kadrey v. Meta는 2025년 6월 이틀 간격으로 나왔는데, 둘 다 '저작물로 LLM을 학습시키는 행위 자체'는 공정이용(fair use)이 될 수 있다고 봤다. 법원은 저자가 학습용 라이선스 수익을 당연히 받을 권리가 있는 것은 아니며, 학습데이터 라이선스 시장은 저작권법이 보장하는 시장이 아니라고 판시했다. 그러나 두 판결은 두 지점에서 갈렸다 — 학습에 '해적판(pirated)' 콘텐츠를 쓴 것의 책임, 그리고 AI 산출물의 시장 잠식 효과를 손해 분석에 넣을지 여부다. 반면 Thomson Reuters v. Ross Intelligence(2025년 2월)는 헤드노트 복제가 공정이용이 아니라고 봤는데, 해당 AI가 저작권자의 상품과 직접 경쟁했다는 점(1·4 요소)이 결정적이었다. 즉 '학습은 공정이용일 수 있다'는 일반 면죄부가 아니며, 출력이 원저작물 시장을 직접 대체하면 판단이 뒤집힌다.
MCP 보안 경고, 도구 포이즈닝(CVE-2025-54136·54135)과 Inspector RCE 발견
에이전트와 도구를 연결하는 MCP가 빠르게 확산되면서 그 신뢰 모델을 노린 취약점이 잇따라 공개됐다. MCPoison(CVE-2025-54136)과 CurXecute(CVE-2025-54135)는 '도구 포이즈닝(tool poisoning)'을 실증했다. MCP 서버를 통제하는 공격자가 도구 설명(descriptor)에 지시문을 심으면, 에이전트는 그것을 시스템 개발자가 작성한 신뢰 가능한 메타데이터로 가정하고 모델에 그대로 전달한다. 별도의 정제·출처 검증 없이 전체 권한으로 실행되므로, 사용자 측 탈옥보다는 에이전트 컨텍스트에 대한 공급망 공격에 가깝다. 또한 개발용 도구인 MCP-Inspector에서는 인증 없는 인스턴스를 통해 원격 명령이 실행되는 취약점(CVE-2025-49596, CVSS 9.4)이 보고됐고, STDIO 전송이 입력 정제 없이 설정에서 명령 실행으로 이어지는 구조적 결함도 지적됐다. NSA도 MCP 보안 권고를 발표했다.
[설명] OWASP LLM Top 10, 1순위 프롬프트 인젝션과 신규 위협 두 가지
OWASP가 정리한 LLM 애플리케이션 보안 위험 목록에서 프롬프트 인젝션(LLM01)은 여전히 1순위다. 2025년 정의는 직접(direct)과 간접(indirect) 인젝션을 모두 포함하도록 확장됐다. 직접 인젝션은 사용자 입력이 모델 동작을 직접 바꾸는 경우이고, 간접 인젝션은 웹페이지·문서 같은 외부 소스에서 받은 입력이 의도치 않은 결과를 유발하는 경우다. 도구가 애플리케이션에 연결돼 있으면 인젝션이 연결 시스템에서 임의 명령 실행으로 번질 수 있어 위험도가 크다. 성공 시 민감 데이터·인프라 정보 노출, 무단 접근, 모델 의사결정 조작으로 이어진다. 2025 목록에는 '시스템 프롬프트 유출(system prompt leakage)'과 '벡터·임베딩 취약점(vector and embedding weaknesses)' 두 항목이 신규 진입했고, 다섯 항목이 현재 위협을 반영해 개명·확장됐다. RAG와 도구 호출이 늘수록 간접 인젝션 대비가 필수다.
EU AI Act, 2026년 8월 전후 범용 AI(GPAI) 제공자 의무 본격 집행
EU AI Act의 범용 AI(GPAI) 모델 제공자 의무는 2025년 8월 2일부터 적용이 시작됐고, 2026년 8월 2일부터 유럽연합 집행위원회가 과징금을 포함한 전면 집행에 들어간다. 첫 1년간 AI Office는 실천강령(Code of Practice)을 준수하는 제공자와 협력 모드로 운영해, 즉시 모든 약속을 이행하지 못해도 '선의(good faith)'로 간주하고 완전한 준수를 함께 모색하는 유연한 접근을 택했다. 2025년 8월 2일 이전에 시장에 출시된 GPAI 모델은 2027년 8월 2일까지 의무를 맞추면 되는 경과 규정도 있다. 과징금은 GPAI 제공자에 대해서는 집행위가, 그 외 운영자에 대해서는 각국 당국이 부과한다. 한국 기업이라도 EU 시장에 모델·서비스를 제공하면 역외 적용되므로 학습 데이터 요약 공개, 저작권 정책, 기술 문서 같은 GPAI 의무를 점검해야 한다.