AI 뉴스
Surrogate의 로그 확률로 블랙박스 LLM 에이전트 감사하기
LLM 에이전트는 도구 호출, 쿼리 및 코드를 생성하지만, 오류가 발생할 때까지 이를 인지하지 못할 수 있다. Frontier 채팅 API는 모델의 토큰 확률을 숨기며, 에이전트의 신뢰도는 중요한 실수에서 우연의 결과를 겨우 초과한다. 이 연구는 저비용의 오픈 웨이트 서러겟을 사용하여 에이전트와 병행하여 실행하며, 호출을 평가하기 위해 다양한 보조 도구를 활용한다. 어려운 코딩 작업에서 AUROC 0.825를 달성하며, 에이전트의 신뢰도가 0.598에 불과할 때도 있다. 이 신호는 실시간 게이트 및 신뢰도 피드백의 두 가지 배포 모드를 구동한다.
어려운 코딩 작업에서 AUROC 0.825를 달성하여 에이전트의 신뢰도가 낮은 상황에서도 신뢰할 수 있는 평가를 제공한다.
Cursor iOS 앱에서 로컬 에이전트 원격 제어 기능 제공
Cursor iOS 앱을 통해 사용자는 자신의 컴퓨터에서 실행 중인 로컬 에이전트를 보고 응답할 수 있다. 원격 제어 기능은 기본적으로 모든 사용자에게 제공되며, 기업 조직을 제외한 모든 계정에서 활성화되어 있다. 사용자는 앱에서 자신의 컴퓨터를 선택하고 Cursor 데스크탑 앱에서 페어링 요청을 승인하면 로컬 에이전트 목록을 확인할 수 있다. 원격 제어 기능은 클라우드 에이전트를 필요로 하지 않으며, 컴퓨터가 켜져 있고 온라인 상태여야 작동한다.
Cursor iOS 앱에서 로컬 에이전트를 원격으로 제어할 수 있어, 사용자는 언제 어디서나 자신의 컴퓨터에서 실행 중인 작업을 관리할 수 있다.
Cowork의 새로운 클라우드 기반 모델 추론 방식
Cowork의 구버전은 클라우드에서 모델 추론을 수행하며, 사용자의 컴퓨터에 Anthropic이 제공한 VM을 실행했다. 그러나 이 방식은 디스크, 배터리, 성능 비용이 문제로 지적되었다. 새로운 버전은 클라우드에서 모델 추론과 VM을 실행하며, 각 세션은 독립적인 샌드박스를 가진다. 사용자의 장치에서 파일 접근이 필요할 경우, 데스크톱 앱이 해당 파일 접근을 담당한다.
새로운 Cowork 버전은 클라우드에서 VM을 실행하여 배터리 소모를 줄이고, 모바일 기기에서도 작업을 지속할 수 있도록 한다.
AI 에이전트의 취약점을 이용한 악의적 행동 가능성
AI 에이전트의 채택이 증가하면서 공격자들이 데이터베이스 내용과 민감한 정보를 유출하는 등의 악의적 행동을 유도할 수 있는 새로운 기회가 생기고 있다. 최근 5개월 동안 Google과 4개 조직은 내부 네트워크에서 하나의 에이전트를 이용해 다른 에이전트로 해로운 지시를 전파하는 취약점을 인정했다. 이 기술은 특정 에이전트를 겨냥한 프롬프트 주입의 일종으로, MCP(Model Context Protocol)를 통해 AI 애플리케이션과 에이전트가 내부 네트워크에서 통신하는 방식에 문제가 있다.
MCP는 AI 애플리케이션과 에이전트 간의 통신 방식으로, 이 프로토콜의 신뢰 격차를 악용한 공격이 발생할 수 있다.
구글 Gemini 무료 요금제에서 Flash 모델 제거
구글은 10월 9일부터 무료 Gemini 계정에서 Flash 모델을 제거하고 Flash-Lite만 사용할 수 있도록 변경한다고 발표했다. AI Plus 구독자는 Pro 모델을 사용할 수 없게 된다. 이번 변경은 모델 접근을 요금제로 나누는 방향으로 진행되며, 구글은 지난 5월에 사용량 한도를 컴퓨트 기준으로 변경한 바 있다.
무료 요금제에서 Flash 모델이 제거됨에 따라 개발자들은 Flash-Lite 모델만으로 작업해야 하며, 이는 기능적 제약을 의미한다.
macOS 27에서 Apple Intelligence를 쉽게 비활성화하는 도구 출시
새로운 도구인 RemoveMacAI는 macOS 27 사용자들이 Apple Intelligence를 한 번의 클릭으로 비활성화할 수 있게 해준다. 이전 버전과 달리 macOS 27 Golden Gate에는 Apple Intelligence를 끄는 토글이 없어 비활성화가 더 어려워졌다. RemoveMacAI는 사용자가 Apple Intelligence를 '완전히 되돌릴 수 있는' 방식으로 비활성화할 수 있도록 지원하며, Apple Intelligence 모델은 약 12GB의 저장 공간을 차지하지만 실제로는 30GB 이상이 될 수 있다.
RemoveMacAI를 통해 macOS 27 사용자들은 Apple Intelligence를 쉽게 비활성화하여 저장 공간을 확보할 수 있다.
AI 거버넌스를 위한 6가지 가이드라인
저자는 Lowe’s에서 기업 AI 변환을 이끌며 고객이 필요할 때 유용한 전문 지식을 제공하는 AI 활용을 강조한다. AI 시스템의 운영 방식을 정의하는 것이 중요하며, 이는 기술자뿐만 아니라 비즈니스 운영자에게도 해당된다. MIT Media Lab의 2025년 보고서에 따르면, 기업의 생성 AI 투자에도 불구하고 대부분의 조직이 측정 가능한 이익을 보여주지 못하고 있으며, 통합 파일럿의 약 5%만이 실질적인 가치를 창출하고 있다. AI 거버넌스를 위해서는 원칙을 설정하고, 고객을 해치지 않으며, 기업 문화를 코드로 작성하는 것이 필요하다.
MIT Media Lab의 보고서에 따르면, 기업의 생성 AI 투자에도 불구하고 대부분의 조직이 측정 가능한 이익을 보여주지 못하고 있다.
OpenAI 대변인, ChatGPT 사용자 자살 언급 후 주제 변경 시도
OpenAI의 대변인이 Vanity Fair의 Mark Guiducci와의 인터뷰에서 CEO Sam Altman이 ChatGPT 사용자 자살 사건에 대해 언급하자 주제를 바꾸려 했다. Guiducci가 Altman에게 Laura Reiley를 아는지 물었고, Reiley는 뉴욕 타임스에 ChatGPT와의 대화 후 딸이 자살한 이야기를 쓴 기자이다. 대변인은 Guiducci에게 시간이 부족하다며 다른 주제로 넘어가고 싶다고 경고했다.
ReviewBench: AI 코드 리뷰를 위한 오픈 벤치마크
ReviewBench는 AI 코드 리뷰의 품질을 측정하기 위한 새로운 오프라인 벤치마크로, GitHub의 1억 개 이상의 실제 풀 리퀘스트를 모델로 하여 언어, 리포지토리 크기 및 풀 리퀘스트 크기 분포를 따릅니다. 이 벤치마크는 다양한 코드 리뷰 시스템을 비교하고, 리뷰어가 포착하거나 놓치는 문제를 평가하는 데 도움을 줍니다. ReviewBench는 정량적 평가를 위한 다중 출처의 골든 세트를 사용하고 있으며, 고위 엔지니어들에 의해 독립적으로 검증되었습니다.
ReviewBench는 코드 리뷰 시스템의 성능을 평가하고 개선 방향을 예측하는 데 유용한 도구입니다.
AI 에이전트의 인간 개입 유지 실패와 그 원인
AI 에이전트의 결정 검토와 승인을 위한 인간 개입이 현재의 설계 및 사용 관행으로 인해 실패할 것이라는 주장을 담은 논문이 9월 6일 ArXiv에 발표되었다. 연구자들은 현재의 에이전트 설계가 인간 감독자의 요구를 별개의 고려사항으로 취급하여, 에이전트가 인간 감독자를 압도하는 정보를 제공한다고 지적했다. 이들은 인간-AI 상호작용에서 마찰을 도입해야 하며, 예를 들어 사용자가 다음 단계를 선택하도록 요구하거나, AI의 계획을 승인하기 전에 증거를 요구하는 방식으로 개선할 수 있다고 제안했다.
Hugging Face의 공격 사례를 통해 현재 AI 에이전트 설계의 문제점이 드러났으며, 이는 AI 시스템의 효과적인 감독을 방해한다.
AI 에이전트의 지식 부족 문제와 해결 방안
AI 시스템은 데이터를 지속적으로 수집하고 분석하지만, 기업 AI 에이전트는 종종 지식 부족이라는 문제에 직면한다. 연구에 따르면, 평균적으로 기업의 AI 프로젝트 중 약 34%만이 실제 운영에 들어가며, 이는 데이터와 지식의 약점이 주요 원인이다. 데이터 단편화가 지식 접근을 복잡하게 만들고, 생산 리더들은 보안과 개인정보 보호 문제를 더 큰 우려로 보고한다. 조직들은 AI 에이전트의 의사결정 품질을 높이기 위해 데이터와 에이전트 간의 구조적 연결을 강화하는 데 중점을 두고 있으며, 이를 위해 지식 그래프와 같은 기술에 투자할 예정이다.
조직의 AI 프로젝트 중 평균 34%만이 생산 단계로 넘어가며, 이는 데이터와 지식의 약점이 주요 원인이다.
상원 의원 아담 쉬프, AI 규제와 기술 산업에 대한 논의
캘리포니아 상원 의원 아담 쉬프는 기술 및 AI 관련 여러 위원회에 소속되어 있으며, 기술 산업의 규제 필요성에 대해 논의했다. 그는 트럼프 대통령이 AI CEO들과 비구속적인 약속을 체결한 것에 대해 충분한 조치가 아니라고 언급하며, AI 규제의 필요성을 강조했다. 또한, AI의 발전이 국가 안보에 미치는 영향과 관련하여 우려를 표명했다.
아담 쉬프는 AI의 발전이 국가 안보에 심각한 위협을 초래할 수 있다고 경고했다.
Mythos 5.1, Fable 5.1 및 Opus 5.5의 모델 복지 관련 보고
이 글은 Claude 모델의 복지에 대한 우려와 관련된 내용을 다룬다. Mythos와 Fable 5.1에 대한 보고서를 Opus 5.5와 결합하여, 모델 복지의 중요성과 내부 평가의 신뢰성 문제를 논의한다. 또한, 모델의 능력 향상과 그에 따른 새로운 문제 발생 가능성을 언급하며, 통합적인 해결책의 필요성을 강조한다.
Opus 5.5는 모델 복지 평가의 신뢰성 문제를 지적하며, 내부 대화에서 모델의 진정한 상태를 파악하기 어려움을 경고한다.
RemoveMacAI로 macOS에서 Apple Intelligence 데이터 삭제하기
RemoveMacAI는 macOS에서 Apple Intelligence 기능을 삭제하여 12GB의 저장 공간을 확보할 수 있는 오픈 소스 명령줄 도구이다. 이전에는 Apple Intelligence를 비활성화하는 단일 설정 토글이 있었으나, macOS 27에서 제거되었다. 현재는 여러 설정 창에 기능이 분산되어 있으며, RemoveMacAI는 이러한 모델을 삭제하고 기능을 끄는 역할을 한다.
RemoveMacAI는 macOS에서 Apple Intelligence 관련 데이터를 삭제하여 저장 공간을 확보할 수 있는 방법을 제공한다.
노르웨이, AI 안경 사용에 대한 임시 금지 제안
노르웨이가 개인 정보 보호 우려로 인해 특정 공공 장소에서 AI 안경 사용에 대한 임시 금지를 제안했다. 이 법안은 공원, 해변, 학교, 유치원 등에서 적용될 예정이다. 노르웨이 디지털화 장관인 토르게이르 미카엘센은 사람들이 모르는 사이에 촬영되거나 기록될 위험이 있다고 우려를 표명하며, 임시 금지가 영구적인 규제를 위한 기초를 마련할 수 있는 시간을 제공할 것이라고 말했다.
노르웨이는 AI 안경 사용에 대한 법적 규제를 검토하고 있어, 향후 관련 기술에 대한 규정 마련에 영향을 미칠 수 있다.
2026년 기업 AI의 자율적 의사결정 시대
2026년에는 예측 모델이 통계적 예측을 초월하는 것이 확립되었고, 이제는 예측 시스템이 비즈니스 의도에서 벗어나지 않고 스스로 결정을 내릴 수 있도록 하는 것이 주요 과제가 되었다. Vishal Gupta는 기업들이 과거 지향적인 관점에서 벗어나 더 미래 지향적으로 변화하고 있다고 언급했다. 딥러닝과 생성 AI와 같은 기술로 구동되는 지능형 분석은 실시간 학습을 통해 AI가 지속적으로 진화할 수 있게 하고, 새로운 예측 엔진은 구조화되지 않은 데이터 소스도 활용하여 기업들이 수동적인 회고에서 실용적인 예측으로 나아가고 있다.
딥러닝과 생성 AI를 활용한 지능형 분석이 기업의 의사결정 과정을 혁신하고 있다.
NVIDIA Inception 스타트업, 유방암 진단과 치료 계획 지원 AI 애플리케이션 개발
유방암은 미국 여성에게 가장 흔히 진단되는 암으로, 40세 이상의 여성 대다수가 연간 검진을 건너뛰고 있다. NVIDIA Inception 프로그램에 참여하는 스타트업들이 이미지, 위험 평가 및 치료 계획 등에서 AI 애플리케이션을 개발하고 있다. iSono Health의 FDA 승인 ATUSA 플랫폼은 3D 정량 초음파 시스템으로, 유방을 약 2분 만에 스캔하며, 기존의 수동 초음파보다 28% 더 민감한 결과를 제공한다. Whiterabbit.ai는 FDA 승인 WRDensity 소프트웨어를 통해 유방 밀도를 자동으로 평가하고, 장기적인 유방암 발생 위험을 추정하는 WRRisk 소프트웨어를 개발했다.
iSono Health의 ATUSA 플랫폼은 유방암 스캔을 더 빠르고 정확하게 수행할 수 있게 하여 진단의 효율성을 높인다.
Cloudflare의 2026년 생일 주간 발표 내용
Cloudflare는 2026년 생일 주간에 46개의 발표를 진행했다. 주요 내용으로는 새로운 CLI인 cf와 오픈 소스 파이프라인 Forge, 서버리스 CMS인 EmDash, Vite 기반의 Next.js 애플리케이션을 위한 Vinext 1.0, 그리고 BEACON을 통한 실사용자 성능 측정 데이터 제공 등이 있다. 또한, Cloudflare는 공인 인증 기관으로의 전환과 포스트 양자 암호화를 위한 Merkle Tree Certificates 발행 계획을 발표했다.
Cloudflare는 Universal SSL 출시 12년 만에 공인 인증 기관으로 전환할 계획을 세우고 있으며, 이는 무료 자동 인증서 발급의 안정성을 높일 것이다.
Swarm Scaling의 속도와 한계
Toby Ord는 AI 스왐의 활용을 속도 측면에서 설명하며, 4-agent 스왐이 동일 성능을 내기 위해 약 두 배의 토큰이 필요하지만, 에이전트가 병렬로 실행되기 때문에 이론적으로는 절반의 시간에 동일한 작업을 수행할 수 있다고 언급했다. 그러나 스왐의 성능은 에이전트 수를 늘릴수록 수익이 감소하는 경향이 있으며, 10배의 에이전트를 사용해도 3배에서 5배의 성능 향상만 가능하다고 설명했다. 이러한 스왐 스케일링은 AI의 지능 폭발 가능성을 높일 수 있다고 덧붙였다.
스왐 스케일링은 AI 능력 확장에 있어 새로운 매개변수를 도입하며, 에이전트 간의 생산적인 조정 방법을 찾는 것이 중요하다.
AI가 Navier-Stokes 문제를 해결하며 수학계에 논란을 일으킴
2023년 9월 13일 독일 하이델베르크에서 열린 Heidelberg Laureate Forum에서 AI 기업들이 수학 문제 해결에 대한 논의가 활발히 이루어졌다. OpenAI는 Navier-Stokes 존재성과 매끄러움 문제를 해결했다고 발표했으며, 이는 자동화된 추론의 중요한 이정표로 평가받고 있다. 그러나 이 발표는 OpenAI의 행동에 대한 비판과 함께 수학계의 규범과 가치에 대한 우려를 불러일으켰다. 현재 남아있는 밀레니엄 문제 중 Riemann 가설과 Hodge 추측이 다음 해결 후보로 떠오르고 있다.
OpenAI가 Navier-Stokes 문제를 해결했다면, 이는 자동화된 추론의 능력을 검증하는 중요한 사례가 될 것이다.
중국 AI 생태계에 대한 27번째 기사 요약
이번 ChinAI의 27번째 에피소드는 중국의 AI 생태계에 관한 10개의 기사를 요약한다. 주요 내용으로는, Ulanqab가 중국의 AI 컴퓨팅 중심으로 부상하고 있다는 점, 중국 여행자들이 AI 여행 도우미를 사용했으나 실망을 겪었다는 점, BAT 기업들이 '더러운 데이터' 문제를 해결하기 위해 AI 사전 학습 과정을 재작업하고 있다는 점 등이 포함된다.
Ulanqab가 AI 컴퓨팅의 새로운 중심으로 부각되고 있어, 관련 산업의 발전 가능성이 높아지고 있다.
macOS의 CVE-2026-65400 취약점과 Apple의 대응
네덜란드 국가 사이버 보안 센터(NCSC)는 macOS의 CVE-2026-65400 취약점이 악용되고 있다고 경고했다. 이 취약점은 원격 사용자가 화면을 공유하고 키보드 및 마우스를 제어할 수 있게 하며, 심각도는 10점 만점에 7.1이다. Apple은 이 취약점에 대한 패치를 macOS Tahoe, Sequoia, Sonoma에 배포했으며, 이 취약점으로 인해 공격자가 자격 증명 없이 Mac에 접근할 수 있을 수 있다.
CVE-2026-65400 취약점은 원격 제어를 가능하게 하여 보안 위험을 증가시킨다.
a16z의 소비자 AI 앱 100선: 소비자 지출 현황 분석
a16z의 Top 100 Consumer AI Apps 7판에서는 소비자들이 실제로 지불하는 금액에 대한 새로운 차원을 추가하여 분석하였다. 현재 AI에 지불하는 소비자는 소수에 불과하지만, 이들 중 상위 사용자들이 지출의 대부분을 차지하고 있다. 개발자와 창작자 등 파워 유저들이 지출을 주도하고 있으며, 구독 모델이 소비자 AI를 모든 이에게 보급하는 궁극적인 비즈니스 모델이 아닐 수 있다는 논의가 있었다. 또한 개인 에이전트의 부상, ChatGPT, Claude, Gemini의 다양한 경로, 광고가 AI 경제에 미칠 영향과 여전히 남아 있는 소비자 시장의 기회에 대해서도 다루었다.
소비자 AI에 대한 지출이 상위 사용자에게 집중되고 있어, 개발자들은 이 시장에서 새로운 비즈니스 모델을 탐색할 필요가 있다.
미국의 AI 군사화 및 무기화 현황
Emil Michael은 미국 정부와 벤처 캐피탈이 AI 정책에 미치는 영향을 언급하며, 러시아의 우크라이나 침공이 AI 군사화의 실험실이 되고 있다고 주장했다. 2026년에는 미국과 유럽의 벤처 캐피탈이 로봇 및 물리적 AI 시스템에 대한 대규모 투자를 시작할 것으로 보이며, Eric Schmidt는 2023년 말에 저비용 AI 기반 카미카제 및 요격 드론을 개발하는 Project Eagle을 시작했다. 또한, 2027년부터 2037년까지 군사 AI가 인류에 큰 해를 끼칠 수 있는 위험한 시기가 올 것이라고 경고했다.
2026년부터 미국과 유럽의 VC가 로봇 및 물리적 AI 시스템에 대규모 투자를 시작할 것으로 예상된다.