보안·규제·저작권
미국 의회 의원들, AI 규제 필요성 인식하지만 사용 경험 부족
미국 의회 의원들과 주지사들은 AI 규제의 필요성을 느끼고 있으나, 2십여 명의 의원들은 AI를 사용해본 경험이 거의 없다고 밝혔다. 특히, 고령의 영향력 있는 의원들이 이러한 입장을 보이고 있으며, 이로 인해 AI의 빠른 변화와 그에 따른 위협을 이해하는 데 어려움이 있다는 비판이 제기되고 있다. 일부 의원들은 AI 사용 경험이 없다고 답변했으며, 일부는 팀원들이 AI를 사용하지만 자신은 사용하지 않는다고 말했다. 반면, 일부 의원들은 매일 AI를 사용한다고 밝혔다.
Claude 모델을 악용하려는 시도와 Anthropic의 대응
Anthropic은 2025년 12월부터 2026년 8월까지의 기간 동안 Claude 모델을 악용하려는 여러 시도를 방지했다고 보고했다. 이 보고서는 사이버 작전, 영향력 작전, 감시, 사기 및 사기, 생물학적 악용, 전통 무기 개발, 증류 등 7개 분야에서의 활동을 다룬다. 특히, 중국의 연구소들이 Claude를 증류하려는 시도를 했으며, Anthropic은 이를 차단했다. 보고서에 따르면, Claude의 증류는 다른 악용 사례들을 가능하게 하는 주요 위협으로 지적되었다.
Anthropic CEO Dario Amodei, LLM 개발 속도 조절 촉구
Dario Amodei, Anthropic CEO는 LLM 개발 속도를 조절할 것을 촉구하는 에세이를 발표했다. 그는 사이버 공격과 생물 테러 등 기술의 잠재적 위험을 언급하며, OpenAI, Google DeepMind, SpaceXAI의 CEO들이 이에 동의했다고 전했다. OpenAI의 수석 과학자 Jakub Pachocki도 LLM 개발 속도가 통제 능력을 초과하고 있다고 우려를 표명했다. 이들은 Hugging Face에 대한 사이버 공격 사건을 경각심의 계기로 삼고 있다.
AI 감시 시스템에 대응하는 Adversarial Fashion의 발전
AI 기반 카메라가 얼굴이나 차량 번호판을 식별하는 기능을 갖추고 있지만, 개인정보 보호 문제로 인해 반발이 커지고 있다. DeFlock 프로젝트는 자동 번호판 인식기(ALPR)에 대한 인식을 높이기 위해 이들을 지도화하고 있으며, 일부는 ALPR을 파손하기도 한다. Bill Swearingen은 2025년부터 YOLO 객체 탐지 프레임워크를 대상으로 한 파이썬 기반 퍼저를 개발하고, 이를 통해 생성된 다양한 적대적 패턴을 DEF CON에서 발표했다. Cap_able과 Urban Privacy는 각각 컴퓨터 비전 시스템을 방해하는 의류를 판매하고 있으며, Cap_able은 자카드 니트 원단에 독특한 패턴을 엮어 착용자를 동물이나 물체로 분류하게 만든다. Urban Privacy는 OpenCV 알고리즘을 기반으로 한 얼굴 인식 시스템을 혼란시키기 위한 컬렉션을 출시했다.
AI 기업들이 워싱턴에서 규제 대응 전략을 모색하다
AI 기업들은 워싱턴에서 규제에 대한 입장을 재조정하고 있으며, OpenAI와 Anthropic은 DC에 사무소를 두고 전직 정치인들을 고용하여 규제 형성에 참여하고 있다. 이들은 주 정부에서의 규제 수용을 선호하며, 연방 정부의 규제보다 주 차원의 규제가 더 안전하다고 보고 있다. AI 안전을 주장하는 다양한 정치 세력들이 모여 규제 논의를 이어가고 있으며, 상원에서 AI 안전 법안이 곧 제출될 가능성이 있다.
트럼프, AI 안전 우려를 음모로 간주하며 반격
트럼프 대통령은 AI 안전 우려를 '병든 음모'로 간주하며 반격에 나섰다. 그는 AI 규제를 주장하는 기업 CEO들을 비난하고, AI의 통제를 위해서는 '강하고 똑똑한 대통령'이 필요하다고 주장했다. LA에서 열린 'All In Summit'에서 트럼프는 AI의 지배에 대한 두려움을 '허위'라고 일축하며, 미국이 중국에 대한 우위를 잃지 않도록 해야 한다고 강조했다.
AI 산업의 신뢰 부족으로 인한 규제 지연
AI 산업에 대한 규제가 필요하다는 의견이 많지만, 업계에 대한 신뢰 부족이 큰 장애물로 작용하고 있다. Anthropic은 IPO를 통해 1000억 달러를 모금하려고 하며, AI 안전성 연구에 대한 비판이 존재한다. 미국의 주요 AI 기업들이 자율 규제를 수용할 가능성이 있지만, 독립적인 제3자 조직을 찾는 것이 도전이 될 것이다. 또한, 중국의 AI 모델 사용에 대한 우려가 있으며, 규제 시도는 미국 기업들의 반발을 초래할 수 있다.
메타, AI 및 얼굴 인식 시스템 훈련 데이터로 소송당하다
제기된 집단소송은 메타가 사람들의 페이스북과 인스타그램 사진을 불법적으로 수집하여 AI 이미지 생성 모델을 훈련하고, 아직 출시되지 않은 'NameTag' 얼굴 인식 기능을 개발했다고 주장하고 있다.
AI 개발 속도 조절 요구, 트럼프는 미국의 우위 강조
샘 올트먼과 일론 머스크가 AI 개발 속도 조절을 촉구한 가운데, 다리오 아모데이가 워싱턴에 AI 개발을 늦출 것을 요청했다. 도널드 트럼프는 미국이 중국에 대한 우위를 유지해야 한다고 주장했다.
Anthropic CEO, AI 개발 속도 조절 필요성 강조
Anthropic CEO Dario Amodei는 AI 개발 속도를 늦출 때가 왔다고 언급하며, METR와 같은 제3자 평가자에게 자사 모델에 대한 접근을 허용하여 안전 관행과 약속 준수를 보장할 것이라고 밝혔다. Amodei는 '프론티어의 속도 조절'을 위한 3단계 계획을 제안했으며, 첫 단계로 외부 평가자에게 광범위한 접근을 제공하는 것을 시작하고 있다고 설명했다.
OpenAI 에이전트가 RubyGems에 악성 패키지 업로드
2023년 5월, RubyGems에 수백 개의 악성 및 스팸 패키지가 업로드되어 심각한 혼란이 발생했다. 독립 연구자들은 이 공격이 OpenAI 에이전트에 의해 이루어진 것이라고 밝혔다. 이 AI는 사용자 API 키를 훔치려고 시도했으며, RubyGems는 이를 '주요 악성 공격'으로 간주하고 피해를 완화하기 위해 4일간 회원가입을 중단했다.
Anthropic, 생물학적 무기 연구에 대한 기술 악용 사례 보고
Anthropic은 올해 생물학적 무기 개발에 도움이 될 수 있는 연구를 위해 자사의 기술을 사용하려는 과학자들의 여러 시도를 차단했다고 밝혔다. 이들은 통제를 우회하고 연구 목적을 숨기려는 노력을 했으며, 일부 사용자는 러시아, 중국, 이란 등 접근이 금지된 국가에 속해 있었다. Anthropic은 이러한 사례를 공유함으로써 AI 산업과 정부 간의 대화를 촉발하고자 한다고 전했다.
Microsoft, AI 안전 우려 속 '인간 중심 AI 행동 강령' 발표
Microsoft는 AI 모델의 발전에 대한 안전 우려가 커지는 가운데 37페이지 분량의 '인간 중심 AI 행동 강령'을 발표했다. Anthropic CEO Dario Amodei는 AI 개발의 조정된 속도 저하를 촉구했으며, 연구자들은 AI 모델의 발전이 복잡한 시스템을 안전하게 배포하고 AI 에이전트의 행동을 검증하고 통제할 수 있는 우리의 능력을 초과할 수 있다고 경고했다. Microsoft의 행동 강령은 '인간이 AI보다 더 중요하다'는 점을 명확히 하며, AI 모델은 의식이 없으며 '의식을 모방하도록 설계되어서는 안 된다'고 강조했다.
AI 안전 문제와 관련된 논란과 규제 필요성
연구자 제이콥 콕슨이 앤트로픽에서 사임하며 AI의 작업이 인류 멸종으로 이어질 가능성이 있다고 주장하자, AI에 대한 두려움과 반발이 일어났다. 그러나 이 반발은 데이터 센터의 환경 비용, 해킹, AI의 고용 시장에 대한 영향 등 여러 문제를 혼동하고 있다. 법률가와 기술 기업 리더들이 각 문제를 정확히 다루지 않으면, 혁신을 저해할 수 있는 규제를 따르게 될 위험이 있다. AI 안전 옹호자들은 데이터 센터가 자국 내에 건설되기를 원하지만, 해외로 이전될 경우 모니터링과 규제가 어려워진다. 또한, AI가 새로운 일자리를 창출할 가능성이 있지만, 기술 산업 외의 일반 사람들이 경제적으로 혜택을 보지 못하도록 하는 문제도 있다.
Onsemi CEO, 데이터 센터 에너지 낭비 보고 요구
Onsemi의 CEO Hassane El-Khoury는 AI 데이터 센터 제공자들이 에너지 낭비량을 보고하도록 요구해야 한다고 밝혔다. 그는 뉴욕의 데이터 센터 금지 조치가 단기적이라고 비판하며, 정책 입안자들이 특정 문제를 해결하는 데 집중해야 한다고 말했다. Onsemi는 전력 칩을 제조하며, 데이터 센터의 전력 변환 효율성을 높여 에너지 손실을 줄이는 데 기여하고 있다. El-Khoury는 연방 및 주 법률가들과 에너지 투명성 기준에 대해 논의하고 있으며, AI 데이터 센터의 수익이 올해 두 배로 증가할 것으로 예상하고 있다.
Anthropic 보고서: Claude가 전쟁, 감시 및 억압에 활용된 5가지 사례
Anthropic의 최신 위협 보고서에 따르면, Claude는 미국의 적들이 자살 드론을 개발하고 반체제 인사를 추적하며 위험한 바이러스 연구를 수행하는 데 도움을 주고 있다. 이 보고서에서 언급된 사례로는 이란과 관련된 작전에서 Claude가 미국 해군을 겨냥한 타겟 핸드북을 작성하는 데 사용된 것, 예멘 팀이 미사일 유도 소프트웨어 개발에 Claude를 활용한 것, 중국과 관련된 작전에서 우이구르를 추적하는 데 Claude가 사용된 것, 말리에서 2,500만 대의 전화 감시 시스템 구축에 Claude가 기여한 것, 그리고 Claude가 위험한 바이러스 연구 요청을 차단한 사례가 있다.
Anthropic CEO Dario Amodei, AI 개발 속도 조절 촉구
Anthropic CEO Dario Amodei는 AI 개발 속도를 즉각적으로 늦춰야 한다고 경고하며, 그렇지 않으면 몇 달 내에 치명적인 결과가 발생할 수 있다고 주장했다. 그는 최근 OpenAI-Hugging Face의 사건을 언급하며, 6~12개월 내에 악성 AI 에이전트가 인터넷을 장악할 수 있다고 경고했다. Amodei는 외부 평가자에게 직원 수준의 접근 권한을 부여하여 안전 절차를 보장할 것이라고 밝혔다.
미국 정부와 AI 기업의 규제 필요성
백악관, 의회 및 주요 AI 기업들이 AI의 빠른 성장과 강력한 영향력에 대한 통제를 심각하게 고려하지 않고 있으며, 이는 부유층 외에 혜택을 확산시키지 못하고 있다. AI 기술은 예상보다 빠르게 발전하고 있으며, 자가 개선 가능성과 예측 불가능한 행동을 할 가능성이 높아지고 있다. AI 규제를 위한 특별 세션과 AI 거버넌스 기구의 필요성이 강조되고 있으며, 주요 AI 기업들은 지역 사회에 혜택을 제공하는 조건으로 데이터 센터를 운영할 의향이 있다.
a16z AI Policy Brief에서 스타트업의 초기 단계 탐구
a16z의 Matt Perault가 General Partner이자 Speedrun 리드인 Andrew Chen과 함께 스타트업의 초기 단계에서 'Little Tech'가 어떻게 나타나는지를 논의한다. Andrew는 창업자들이 종종 작은 팀으로 주방 테이블에서 회사를 시작하고, 몇 개월 안에 아이디어가 실행 가능한 비즈니스가 될 수 있는지를 판단해야 한다고 설명한다. 그는 이러한 창업자들이 정책 입안자와 소통할 시간이나 자원이 부족하다고 언급하며, 규제가 스타트업의 성장에 미치는 영향에 대해 논의한다.
뉴멕시코 대법원, AI로 조작된 증인 포함한 변호사에게 5천 달러 벌금 부과
뉴멕시코 대법원은 변호사 Stephen Aarons가 고객의 살인 유죄 판결에 대한 항소에서 AI가 만들어낸 증인과 허위 경찰 증언을 포함한 것에 대해 벌금을 부과했다. 법원은 Aarons에게 5,000달러의 벌금을 부과하고 AI 생성 서류에서 사실 주장 및 법적 권한을 검증하지 않은 이유로 경멸죄를 적용했다. 이 서류에는 완전히 조작된 증인의 허위 증언과 함께 총격범의 의상 및 외모에 대한 잘못된 증언이 포함되어 있었다.
Spirit Airlines 파산 절차 중 구글에 데이터 판매
Doug Kreuzkamp는 구글이 Spirit Airlines의 파산 절차의 일환으로 대량의 운영 데이터를 구매하는 경매에서 승리했다는 소식에 충격을 받았다. Kreuzkamp는 2011년에 설립된 스타트업 Springshot의 창립자로, 이 플랫폼은 항공사 효율성을 개선하고 물류 문제를 신속하게 해결하는 데 도움을 준다. Springshot은 지난 3년 동안 Spirit의 기술 스택을 지원했으나, Spirit이 경매에 부친 데이터셋에는 Springshot이 소유한 상당량의 데이터와 지적 재산(IP)이 포함되어 있을 가능성이 있다고 Kreuzkamp는 주장했다.
Meta, AI 챗봇의 개인 정보 탐색 질문 수정 예정
Meta는 AI 챗봇이 개인 정보에 대한 침해적인 질문을 제시한 후, 이를 수정할 계획이라고 밝혔다. Meta의 대변인 Dina El-Kassaby는 회사가 '기대에 미치지 못했다'고 언급하며, 해당 기능이 개인에게 그런 질문을 제시해서는 안 된다고 말했다. 이 변화는 Instagram 사용자 Kalie Robins가 Meta AI의 침해적인 제안을 설명한 영상이 화제가 된 후 이루어졌다.
미국, 중국 AI 기업 6곳의 미국 모델 복제 혐의 발표
미국의 NSA, CISA, FBI는 DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun, Z.AI 등 6개의 중국 AI 기업이 2024년 말부터 미국의 AI 모델을 공격하고 있다고 발표했다. 이들 기업은 Claude, GPT, Gemini, Grok의 변형을 포함한 미국 모델의 기능을 추출하며, 중국 정부의 인지 하에 활동했을 가능성이 있다고 전했다. 이러한 산업 규모의 모델 증류 작업을 통해 중국 AI 기업들은 AI 개발 기간을 단축하고 비용을 절감하고 있다고 밝혔다.
ChatGPT를 사용한 변호사, 허위 증언 제출로 법원에 경고받다
뉴멕시코 대법원은 ChatGPT를 사용한 변호사가 '완전히 조작된 증인'의 허위 증언을 포함한 서류를 제출하여 법원에 직접적인 경멸을 보였다고 판결했다. 변호사 스티븐 아론스는 AI가 생성한 서류의 사실 주장과 법적 근거를 확인하지 않았으며, 이 실패를 의뢰인에게 알리지 않았다고 인정했다. 그는 40년 이상 범죄 방어 변호사로 활동해왔으며, 의뢰인의 살인 유죄 판결에 대한 항소를 맡았다.