본문으로 건너뛰기
News

AI가 사이버보안을 뒤흔들다: Alex Stamos가 본 공격 자동화와 'dark age'

AI broke the cybersecurity world. What’s next?

The Verge의 Decoder 팝캐스트에서 Cognition의 최고보안책임자 Alex Stamos는 AI가 사이버보안 업계의 기존 질서를 무너뜨리고 있다고 진단했다. 그는 최근 몇 주간 AI 관련 기업들이 연쇄적으로 침해당했다고 설명했다. Stamos는 Fireworks 침해로 확보된 API 키가 Cursor 침해로 이어졌고, 이후 악성 플러그인이 약 5,000개 기업에 배포되어 잠재적 침해 5,000건이 발생했다고 설명했다. 그는 취약점 탐색과 익스플로잇 작성이 AI로 실시간 자동화되면서, 사이버 킬체인이 사전 연구 후 배치하는 방식에서 AI 시스템이 대상을 탐색하며 즉시 침투하는 구조로 뒤집혔다고 말했다. 기사에 따르면 중국의 오픈소스 도구 ARTEX가 예로 언급됐으며, 이를 조작된 GLM-5.3 같은 모델로 구동하면 다수 조직을 침투할 수 있다고 한다. 공격은 한국 은행 3곳에서 시작됐고 이후 약 200개 기업으로 번졌다. Stamos는 개인 공격자뿐 아니라 러시아, 북한 같은 국가 행위자도 AI로 취약점을 탐지하고 악용하고 있다고 지적했다. 그는 현재가 인터넷 초기처럼 개척 단계의 긴장감이 있으며, 적응이 끝나기 전까지 'dark age'가 이어질 수 있다고 보면서도 장기적으로 비관적이지는 않다고 밝혔다.

Fireworks에서 탈취된 API 키가 Cursor 침해와 5,000개 기업 대상 악성 플러그인 배포로 이어졌으므로, AI 서비스 제공업체의 API 키 관리와 개발도구 플러그인 검증을 점검할 필요가 있다.

원문 출처

The Verge — AI

원문 보기 ↗
보안·규제·저작권중급·

美 정부 수출통제 지시로 Fable 5·Mythos 5 접속 전면 차단, 출시 3일 만의 반전

출시 사흘 만인 6월 12일 오후(ET) 미국 정부가 수출통제 지시를 발동해 Fable 5·Mythos 5 접속을 전면 중단시켰다. '국가안보 권한'을 근거로 전 세계 모든 외국 국적자(Anthropic 외국인 직원 포함)의 사용을 막으라는 지시였고, Anthropic은 컴플라이언스를 위해 외국인뿐 아니라 '모든 고객'에게 두 모델을 비활성화했다. 다른 모델은 정상이다. 정부가 지목한 사유는 Fable 5의 좁은(비-보편적) 탈옥(jailbreak) 기법 — 소프트웨어 취약점을 분석·수정하도록 요청하는 시연이었다. Anthropic은 '수천 시간 동안 US 정부·UK AISI·외부 레드팀과 함께 가드레일을 검증했고 어떤 테스터도 광범위한 사이버 역량을 가로지르는 보편적 탈옥을 찾지 못했다'며, '좁은 잠재 탈옥 발견이 수억 명에게 배포된 상용 모델을 회수할 근거는 아니다'라고 공개적으로 이견을 밝혔다. 복구 시점은 미정이며 '가능한 빨리 복구하겠다'고만 했다.

Anthropic / CNBC원문
보안·규제·저작권실전·

프롬프트 인젝션은 '버그'가 아니라 '구조적 결함': OWASP 6월 보고서와 MCP 공급망 사고

에이전트 보안의 현실 점검이 6월에 집중됐다. OWASP GenAI Security Project의 6월 11일 보고서는 프롬프트 인젝션이 'LLM이 텍스트를 읽는 방식 자체에 내재'된 결함이며, 지난 1년의 CVE와 공급망 침해가 어떤 패치도 이를 닫지 못했음을 보여준다고 진단했다. 핵심 위협 모델은 'lethal trifecta' — ① 민감 데이터 접근 ② 신뢰 못 할 외부 콘텐츠 노출 ③ 외부 통신 능력, 이 셋이 한 에이전트에 겹치면 단 한 줄의 주입 프롬프트로 데이터 유출 도구가 된다. LLM은 시스템 프롬프트·사용자 입력·검색된 콘텐츠를 단일 토큰 시퀀스로 처리해 권한 경계를 신뢰성 있게 강제할 메커니즘이 없다는 게 구조적 원인이다. 실제 사고도 잇따랐다 — LiteLLM(CrewAI·DSPy·GraphRAG의 LLM 게이트웨이) 백도어가 3월 PyPI에 약 3시간 노출돼 4.7만 다운로드가 발생했고, MCP 코어 인프라의 RCE 취약점(CVE-2025-6514, CVSS 9.6)과 최대 20만 개의 취약 MCP 인스턴스 노출이 보고됐다. 'tool poisoning'(도구 메타데이터에 숨긴 명령)이 새로운 인젝션 벡터로 떠올랐다.

MCP를 붙이는 순간 에이전트는 lethal trifecta에 진입하기 쉽다는 걸 전제로 설계해야 한다. 단일 통제(예: 입력 필터)로는 막을 수 없고, 도구 화이트리스트·신원 바인딩·런타임 모니터링·HITL 체크포인트를 겹쳐 blast radius를 줄이는 게 현실적 방어다. 특히 외부 MCP 서버와 패키지는 '15개 클린 버전 후 1줄 추가' 식 공급망 공격에 노출되므로 핀 고정과 출처 검증이 필수다.

Help Net Security (OWASP)원문
보안·규제·저작권중급·

EU AI Act GPAI 제재 발효(8월)와 한국 AI 기본법 시행(1월): 규제가 실집행 단계로

2026년 상반기는 AI 규제가 '문서상 의무'에서 '실제 집행'으로 넘어간 분기점이다. EU AI Act의 범용 AI(GPAI) 모델 의무는 2025년 8월부터 법적으로 발효된 상태였지만, 2026년 8월 2일부터 EU AI Office가 정식 집행 권한을 갖는다. 전 세계 연매출의 3% 또는 1,500만 유로 중 큰 금액까지 과징금을 부과할 수 있고, 문서·정보 요청, 모델 평가, 시정·회수 명령 권한이 생긴다. 2025년 8월 이전 출시된 모델은 2027년 8월까지 유예된다. 5월 7일 Digital Omnibus 정치 합의로 이 일정이 그대로 간다는 점이 확인됐다. 한국은 한발 앞서 1월 22일 'AI 기본법'과 시행령이 발효됐다 — 세계 첫 시행 가능한 고영향(high-impact) AI 규제법으로 평가된다. 의료·에너지·공공서비스 등 고영향 영역의 영향평가, 위험관리체계와 인적 감독, 생성형 AI 산출물의 표시(라벨링), 국내 대리인 지정 의무를 담았다. 다만 벌칙 조항 적용은 1년 유예됐다.

규제 텍스트를 읽던 시기는 끝났고, 이제는 '누가 집행하고 얼마를 물리느냐'의 단계다. 한국 빌더는 EU 시장에 모델·기능을 제공하면 GPAI 의무 사정권에 들고, 동시에 국내 AI 기본법의 고영향 영향평가·생성물 라벨링·국내대리인 요건을 1년 유예가 끝나기 전에 제품에 내장해야 한다. 라벨링과 학습데이터 투명성은 출시 직전에 붙이는 게 아니라 설계 단계부터 데이터 계보(provenance)와 함께 가야 재작업을 피한다.

Latham & Watkins / Cooley원문

아직 댓글이 없습니다. 첫 의견을 남겨 주세요.