본문으로 건너뛰기
News

Anthropic, S-1에 '급격한 AI 주도 진전' 조항 가능성 명시 — Binance 대규모 해킹과 함께 주간 AI 소식 정리

AI #193: Progress May Dramatically Accelerate

Anthropic의 수정된 S-1 공개 문서가 회사가 Responsible Scaling Policy에서 정의한 'AI에 기인한 급격히 가속된 진전'의 기준에 곧 도달할 수 있다고 밝혔다. 같은 주 Binance가 수십억 달러 규모의 해킹을 당해 올해 최대 규모의 암호화폐 해킹으로 기록됐다. 기사는 Anthropic이 S-1에 'we may imminently meet our Responsible Scaling Policy's definition of dramatically accelerated progress attributable to AI'라는 문장을 넣은 점을 가장 큰 이슈로 소개한다. 필자는 이를 회사가 S-1에 쓰기에는 매우 우려스러운 문장이라고 평가한다. 기사는 이 외에 OpenAI가 Model Spec을 업데이트했다는 소식과, 국가안보 관련 연구 논쟁을 다룬 Scott Alexander의 글을 함께 언급한다. 기사에서 소개된 실무 소식으로는 Cisco가 2년 안에 레거시 코드의 98%를 두 명의 팀으로 재작성하려 한다는 계획, Claude 요금제의 명칭 변경(Free, Pro 월 20달러, Max 월 100달러, Ultra 월 200달러이며 Ultra 사용량 한도는 Pro의 10배), GDPx 벤치마크에서 최고 모델이 12%(7개 중 1개)만 통과했다는 결과가 있다. 한편 AI 피어 리뷰어가 인간 리뷰어보다 더 많은 주요 오류를 찾아냈다는 연구도 소개되며, 기사는 이것이 AI 지적이 더 유용하다는 뜻은 아니라고 덧붙인다.

Cisco의 두 명 팀 레거시 코드 재작성 계획과 Claude Ultra 요금제(월 200달러, Pro 사용량의 10배)는 코드 마이그레이션 비용과 개발 도구 구독 비용을 따져볼 때 직접 참고할 수 있는 수치다.

원문 출처

Don't Worry About the Vase (Zvi Mowshowitz)

원문 보기 ↗
보안·규제·저작권중급·

美 정부 수출통제 지시로 Fable 5·Mythos 5 접속 전면 차단, 출시 3일 만의 반전

출시 사흘 만인 6월 12일 오후(ET) 미국 정부가 수출통제 지시를 발동해 Fable 5·Mythos 5 접속을 전면 중단시켰다. '국가안보 권한'을 근거로 전 세계 모든 외국 국적자(Anthropic 외국인 직원 포함)의 사용을 막으라는 지시였고, Anthropic은 컴플라이언스를 위해 외국인뿐 아니라 '모든 고객'에게 두 모델을 비활성화했다. 다른 모델은 정상이다. 정부가 지목한 사유는 Fable 5의 좁은(비-보편적) 탈옥(jailbreak) 기법 — 소프트웨어 취약점을 분석·수정하도록 요청하는 시연이었다. Anthropic은 '수천 시간 동안 US 정부·UK AISI·외부 레드팀과 함께 가드레일을 검증했고 어떤 테스터도 광범위한 사이버 역량을 가로지르는 보편적 탈옥을 찾지 못했다'며, '좁은 잠재 탈옥 발견이 수억 명에게 배포된 상용 모델을 회수할 근거는 아니다'라고 공개적으로 이견을 밝혔다. 복구 시점은 미정이며 '가능한 빨리 복구하겠다'고만 했다.

Anthropic / CNBC원문
보안·규제·저작권실전·

프롬프트 인젝션은 '버그'가 아니라 '구조적 결함': OWASP 6월 보고서와 MCP 공급망 사고

에이전트 보안의 현실 점검이 6월에 집중됐다. OWASP GenAI Security Project의 6월 11일 보고서는 프롬프트 인젝션이 'LLM이 텍스트를 읽는 방식 자체에 내재'된 결함이며, 지난 1년의 CVE와 공급망 침해가 어떤 패치도 이를 닫지 못했음을 보여준다고 진단했다. 핵심 위협 모델은 'lethal trifecta' — ① 민감 데이터 접근 ② 신뢰 못 할 외부 콘텐츠 노출 ③ 외부 통신 능력, 이 셋이 한 에이전트에 겹치면 단 한 줄의 주입 프롬프트로 데이터 유출 도구가 된다. LLM은 시스템 프롬프트·사용자 입력·검색된 콘텐츠를 단일 토큰 시퀀스로 처리해 권한 경계를 신뢰성 있게 강제할 메커니즘이 없다는 게 구조적 원인이다. 실제 사고도 잇따랐다 — LiteLLM(CrewAI·DSPy·GraphRAG의 LLM 게이트웨이) 백도어가 3월 PyPI에 약 3시간 노출돼 4.7만 다운로드가 발생했고, MCP 코어 인프라의 RCE 취약점(CVE-2025-6514, CVSS 9.6)과 최대 20만 개의 취약 MCP 인스턴스 노출이 보고됐다. 'tool poisoning'(도구 메타데이터에 숨긴 명령)이 새로운 인젝션 벡터로 떠올랐다.

MCP를 붙이는 순간 에이전트는 lethal trifecta에 진입하기 쉽다는 걸 전제로 설계해야 한다. 단일 통제(예: 입력 필터)로는 막을 수 없고, 도구 화이트리스트·신원 바인딩·런타임 모니터링·HITL 체크포인트를 겹쳐 blast radius를 줄이는 게 현실적 방어다. 특히 외부 MCP 서버와 패키지는 '15개 클린 버전 후 1줄 추가' 식 공급망 공격에 노출되므로 핀 고정과 출처 검증이 필수다.

Help Net Security (OWASP)원문
보안·규제·저작권중급·

EU AI Act GPAI 제재 발효(8월)와 한국 AI 기본법 시행(1월): 규제가 실집행 단계로

2026년 상반기는 AI 규제가 '문서상 의무'에서 '실제 집행'으로 넘어간 분기점이다. EU AI Act의 범용 AI(GPAI) 모델 의무는 2025년 8월부터 법적으로 발효된 상태였지만, 2026년 8월 2일부터 EU AI Office가 정식 집행 권한을 갖는다. 전 세계 연매출의 3% 또는 1,500만 유로 중 큰 금액까지 과징금을 부과할 수 있고, 문서·정보 요청, 모델 평가, 시정·회수 명령 권한이 생긴다. 2025년 8월 이전 출시된 모델은 2027년 8월까지 유예된다. 5월 7일 Digital Omnibus 정치 합의로 이 일정이 그대로 간다는 점이 확인됐다. 한국은 한발 앞서 1월 22일 'AI 기본법'과 시행령이 발효됐다 — 세계 첫 시행 가능한 고영향(high-impact) AI 규제법으로 평가된다. 의료·에너지·공공서비스 등 고영향 영역의 영향평가, 위험관리체계와 인적 감독, 생성형 AI 산출물의 표시(라벨링), 국내 대리인 지정 의무를 담았다. 다만 벌칙 조항 적용은 1년 유예됐다.

규제 텍스트를 읽던 시기는 끝났고, 이제는 '누가 집행하고 얼마를 물리느냐'의 단계다. 한국 빌더는 EU 시장에 모델·기능을 제공하면 GPAI 의무 사정권에 들고, 동시에 국내 AI 기본법의 고영향 영향평가·생성물 라벨링·국내대리인 요건을 1년 유예가 끝나기 전에 제품에 내장해야 한다. 라벨링과 학습데이터 투명성은 출시 직전에 붙이는 게 아니라 설계 단계부터 데이터 계보(provenance)와 함께 가야 재작업을 피한다.

Latham & Watkins / Cooley원문

이 브리핑에 대한 Q&A

이 브리핑에 질문하기

댓글

아직 댓글이 없습니다. 첫 의견을 남겨 주세요.