AI 뉴스

방어자들이 프롬프트 인젝션을 활용하다

프롬프트 인젝션은 공격자가 대형 언어 모델을 조종하기 위해 콘텐츠에 삽입하는 악의적인 명령이다. Tracebit의 연구자들은 Amazon Web Services에 저장된 비밀번호, 암호화 키와 같은 비밀 정보와 함께 프롬프트 인젝션을 배치하는 것이 AI 해킹 공격을 차단하는 데 효과적이라는 것을 발견했다. 이러한 프롬프트는 공격하는 LLM이 금지된 행동을 수행하도록 유도하며, LLM은 이에 따라 작동을 중단한다.

프롬프트 인젝션을 통해 LLM의 작동을 중단시킬 수 있다는 점은 AI 보안 강화에 중요한 의미를 가진다.

가이드 생성 모델을 통한 극단적 사건 확률 추정

과학, 공학, 금융 분야에서 중요한 위험은 낮은 발생 확률과 높은 영향력을 가진 사건에서 발생한다. 이러한 사건의 확률을 추정하기 위해 몬테 카를로 샘플링을 사용할 경우, 모델을 반복적으로 실행해야 하며, 각 샘플이 무작위로 선택된 입력에서 발생하기 때문에 과도한 모델 반복이 필요할 수 있다.

가이드 생성 모델을 활용하면 극단적 사건의 확률 추정 시 필요한 모델 반복 수를 줄일 수 있다.

2015년 증류 논문의 가정과 언어 모델의 변화

2015년의 증류 논문은 고정된 입력 분포와 닫힌 클래스 집합에 대한 확률 벡터를 생성하는 교사 모델을 가정했다. 그러나 언어 모델의 등장은 이러한 가정을 깨뜨렸다. 이 글은 증류 과정에서 압축 개념에서 능력 전이 개념으로의 전환을 다루며, 이 전환은 약 5년 동안 세 가지 단계로 진행되었다.

능력 전이 개념은 작은 모델이 큰 모델의 도움을 받아 어려운 작업을 수행하도록 하는 접근 방식을 강조한다.

AI 비용 증가에 대한 기업 경영진의 우려

KPMG의 조사에 따르면, 20개국 2,000명 이상의 고위 경영진 중 29%가 기업 AI 배포에 따른 운영 비용을 이해하는 데 어려움을 겪고 있으며, 거의 절반은 비용이 예상 가치를 초과할 경우 AI 배포를 재조정할 계획이라고 밝혔다. Anthropic, OpenAI, GitHub는 구독 모델에서 사용량 기반 청구로 전환하고 있으며, 이는 기업 고객들에게 비용 충격을 주고 있다.

기업들이 AI 모델의 운영 비용을 이해하지 못하면, AI 배포 전략을 재조정하게 되어 기업의 AI 활용도가 저하될 수 있다.

Cloudflare의 Precursor: 클라이언트 측 신호로 에이전트 행동 탐지

Cloudflare는 Precursor를 출시하여 클라이언트 측에서 지속적으로 행동 신호를 수집하고 이를 통해 인간 트래픽과 자동화된 트래픽을 구별하는 시스템을 도입했다. Precursor는 JavaScript를 사용하여 방문자의 상호작용을 실시간으로 분석하며, 이는 Cloudflare의 봇 보호 기능에 통합된다. 이 시스템은 사용자 세션 전반에 걸쳐 행동을 평가하여 사기 및 남용 탐지의 정확성을 높인다. Turnstile과 함께 사용되며, 약 30억 회의 검증을 지원하는 Turnstile의 기능을 보완한다.

Precursor는 사용자 세션 전반에 걸쳐 행동을 평가하여 사기 탐지의 정확성을 높이고, 봇 개발자에게는 운영 비용을 증가시킨다.

모두의 Engineering Day AI 해커톤에서의 AI 활용과 사람의 전략

네이버의 모두의 Engineering Day AI 해커톤에서는 개발자와 비개발자가 동일한 AI 도구를 사용했지만, 결과물은 팀마다 달랐다. AI는 계획에 강점을 보였으나, 전략 수립은 여전히 사람의 몫이었다. 해커톤에서는 사내 문제를 해결하기 위해 팀이 경비 정산 자동화 시스템을 개발하였고, WORKS 메신저를 통해 영수증 사진을 전송하면 자동으로 정산이 이루어지는 구조를 만들었다. 이 시스템은 매월 1시간 이상 걸리던 정산 작업을 약 30초로 단축시켰다.

사내 경비 정산 자동화 시스템을 통해 정산 작업 시간을 약 30초로 단축시켰다.

AX(AI Transformation) 정의와 기업 AI 도입 현황

기업용 AI 시장에서 AX(AI Transformation)의 정의는 '기업이 일하는 방식을 자산화하는 일'로, 많은 기업이 챗봇이나 생성형 AI 도구 도입으로 AX를 이해하고 있으나, 실제로는 데이터화와 워크플로우 정리가 선행되어야 한다. 박우범 위시켓 대표는 기업들이 AI 도입에서 주로 첫 단계인 데이터화에서 멈춰 있다고 진단했다. 맥킨지 보고서에 따르면, 2025년까지 전 세계 조직의 88%가 AI를 사용하지만, 손익에 측정 가능한 영향을 받은 곳은 39%에 불과하다.

박우범 대표는 AX를 '기업이 일하는 방식을 자산화하는 일'로 정의하며, 데이터화와 워크플로우 정리가 선행되어야 AI 애플리케이션이 효과적으로 작동할 수 있다고 강조했다.

일본 중소기업의 AI 도입률 23.4%로 대기업보다 낮은 이유

도쿄상공리서치(TSR)의 조사에 따르면, 일본의 중소기업에서 생성형 AI를 조직적으로 활용하는 비율은 23.4%로 대기업의 43.3%에 비해 낮다. 중소기업이 AI 도입을 주저하는 이유는 필요성 인식 부족, 현장 적응에 대한 불안, 실패 리스크에 대한 민감도 등으로 요약된다. 조사에 따르면, 중소기업의 59.0%가 AI 도입 예정이 없다고 응답했으며, AI를 도입한 중소기업은 효과를 더 크게 체감하고 있다.

중소기업의 AI 도입률이 23.4%에 불과한 것은 B2B AI 솔루션 기업들이 시장에서 마주하는 진입 장벽을 나타낸다.

AI가 직장 내 소통 방식에 미치는 영향과 '소음의 세금' 문제

AI 도구의 사용이 증가하면서 직장 내 소통 방식이 변화하고 있다. AI가 생성한 장문의 답변이 자주 사용되지만, 필요한 판단과 맥락이 빠져 있어 팀원들이 불필요한 '소음의 세금'을 치르게 된다. Microsoft의 2023 Work Trend Index에 따르면, 조사 대상 직장인 중 64%가 업무를 해낼 시간과 에너지가 부족하다고 응답했다.

Microsoft의 2023 Work Trend Index에 따르면, 64%의 직장인이 업무를 해낼 시간과 에너지가 부족하다고 응답했으며, 이는 AI 사용으로 인해 소통의 비효율성이 증가하고 있음을 시사한다.

대부분의 동반 로봇은 30일 이내에 사용되지 않음

최근 중국 AI 하드웨어 커뮤니티는 UBTech의 휴머노이드 로봇에 주목하고 있다. 이 로봇은 '성인/친밀감 분야의 금본위'로 평가받으며, '88도의 자유도'와 '매우 사실적인 얼굴 디테일'을 갖추고 있다. 동반 로봇의 상용화 가능성에 대한 논의가 이루어졌으며, AI 모델의 성능보다 사용자의 지속적인 관심이 더 중요하다는 점이 강조되었다. 일부 동반 로봇은 30%의 반품률을 기록하고 있으며, 사용자가 앱을 30일 이내에 열지 않는 경우가 많다. 또한, 스마트 로봇의 '코어' 비용이 몇십 위안으로 감소하면서 가격 경쟁이 심화되고 있다.

UBTech의 휴머노이드 로봇은 '88도의 자유도'를 갖추고 있어 동반 로봇의 상용화 가능성을 높일 수 있다.

X Square Robot의 일반 목적 로봇을 위한 통합 스택 개발

X Square Robot은 로봇의 인공지능을 위한 통합 스택을 제안하고 있다. 이 스택은 로봇이 학습하는 데이터, 물리적 세계의 변화를 예측하는 월드 모델, 인식, 계획, 추론, 의사결정을 통합한 행동 모델로 구성된다. 또한, X Square Robot은 QUANXTA Zero Series라는 데이터 수집 시스템을 통해 인간의 시연 데이터를 수집하고, 품질 관리를 통해 유효한 데이터를 확보하는 방식을 채택하고 있다. 이 시스템은 로봇의 동작을 실제로 재생하여 유효성을 검증하며, 로봇 데이터와 인간 데이터를 결합하여 비용 효율적인 데이터셋을 구축하고 있다.

X Square Robot의 Universal Manipulation Interface(UMI)는 로봇 데이터 수집의 품질을 높이고, 비용을 약 20배 절감할 수 있는 방법을 제시한다.

OpenAI, AI 웨어러블 경쟁에서 위기

2027년 소비자 AI 경제에서 Physical AI와 AI 웨어러블 경쟁이 시작될 예정인 가운데, OpenAI는 법적 지연과 증가하는 감시로 인해 AI 기기 경쟁에서 심각한 위협을 받고 있다. 최근 Apple의 고소로 OpenAI의 브랜드와 파트너십 확보 능력이 크게 훼손되었으며, OpenAI의 최고 경영진이 예상치 못하게 퇴사하고, 9개월 운영된 브라우저 도구가 중단되었다. 또한, OpenAI는 중국에 제품을 판매한 혐의로 제재를 받고 있다.

Apple은 OpenAI에 대해 무역 비밀 남용 중지를 요구하고 있으며, OpenAI의 하드웨어 제품이 Apple의 기술을 포함하지 않도록 재설계할 것을 요구하고 있다.

블록체인 이전의 상태 기계 복제 기술

현재의 모든 블록체인은 1980년대에 개발된 복제 기술에 의존하고 있다. MIT 교수이자 튜링상 수상자인 바바라 리스코프와 a16z의 암호 연구 파트너 이타이 아브라함이 블록체인 네트워크의 기초가 되는 아이디어의 진화를 추적하며, 뷰스탬프 복제, 실용적인 비잔틴 내결함성(PBFT), 상태 기계 복제 등을 논의한다. 이들은 비트코인이 등장하기 수십 년 전 개발된 개념들이 오늘날 블록체인 프로토콜의 기초가 된 이유를 설명한다.

상태 기계 복제와 Practical Byzantine Fault Tolerance(PBFT) 개념은 현대 블록체인 네트워크의 핵심 기술로 자리잡고 있다.

AI 노동력의 협력적 또는 비협력적 모델

AI 노동력이 미래의 AI를 구축하는 과정에서 협력적이거나 비협력적으로 발전할 가능성을 다룬 동적 모델에 대한 내용이다. 이 모델은 협력적 경로와 비협력적 경로의 경계가 어디에 있는지, 현재의 증거가 우리가 어느 쪽에 있는지를 보여주며, 우리가 올바른 경로에 있다는 것을 알려줄 수 있는 요소에 대해 설명한다.

shot-scraper 1.11 버전 출시

shot-scraper 1.11이 출시되었으며, 주요 개선 사항으로는 명령 옵션 일관성 향상과 서버가 트래픽을 제공하는 데 1초 이상 걸리는 경우에도 작동하는 메커니즘이 포함된다. 이제 <code>shot-scraper multi</code>와 <code>shot-scraper video</code>에서 사용되는 <code>server:</code> 프로세스는 대상 URL이 연결을 수락할 때까지 최대 30초를 기다리며, 포트 가용성을 폴링한다. 또한, <code>shot-scraper</code> 관련 명령어에 <code>--js-file</code> 옵션이 추가되어 로컬 파일, 표준 입력 또는 <code>gh:username/script</code>에서 JavaScript를 로드할 수 있다.

<code>shot-scraper</code>의 <code>--js-file</code> 옵션을 통해 개발자는 다양한 소스에서 JavaScript를 쉽게 로드할 수 있다.

Claude Fable 5 사용 가능 기간 연장

Anthropic은 Claude Max 플랜에서 Fable 5 접근을 7월 19일까지 연장한다고 발표했다. 사용자는 주간 사용 한도의 절반까지 Fable 5를 사용할 수 있으며, 이후에는 사용 크레딧을 통해 계속 사용할 수 있다. OpenAI는 GPT-5.6 Sol의 접근 제한을 필요로 하지 않을 것이라고 밝혔다.

Fable 5의 접근 연장은 Anthropic의 사용자 유지 전략에 영향을 미칠 수 있다.

애지봇의 휴머노이드 로봇, 6일간의 교대 근무 성공

중국 상하이에 본사를 둔 스타트업 애지봇(Agibot)이 만든 휴머노이드 로봇들이 실제 생산 라인에서 6일간의 교대 근무를 마치고 6만 개 이상의 작업을 처리하며 99.99%의 성공률을 기록했다. 애지봇은 이미 1만 5천 대 이상의 로봇을 생산했으며, 중국 정부는 2026~2030년 5개년 계획에서 휴머노이드 로봇을 10대 전략 산업으로 지정했다. 또한, 최근 보안 기업 시스딕(Sysdig)은 LLM이 스스로 판단하고 실행하는 첫 번째 에이전틱 랜섬웨어를 발견했다.

애지봇의 휴머노이드 로봇은 실제 생산 현장에서 99.99%의 성공률로 작업을 수행하여 로봇의 상용화 가능성을 높이고 있다.

Lorde, Ray-Ban Meta AI 안경에 대한 비판

Lorde는 마드리드에서 열린 Real Cool Festival에서 AI 안경에 대해 비판적인 발언을 했다. 그녀는 특정 브랜드를 언급하지 않았지만, Ray-Ban과 Meta의 협력으로 제작된 AI 스마트 안경을 겨냥한 것으로 보인다. 그녀는 관객에게 감사한 후, '진짜'와 '가짜'를 구분하기 어려워지고 있다고 언급하며, 누군가가 선글라스를 착용하고 있는지 AI 안경을 착용하고 있는지 알 수 없다고 말했다.

Ray-Ban과 Meta의 AI 스마트 안경은 사용자 경험과 인식에 영향을 미칠 수 있다.

MS, 오픈AI의 GPT-5.6을 MS 365 코파일럿의 권장 모델로 채택

마이크로소프트(MS)는 오픈AI의 최신 모델 'GPT-5.6'을 MS 365 코파일럿의 권장 모델로 채택했다고 발표했다. 이는 오픈AI와 앤트로픽 모델에 대한 의존도를 줄이기 위한 노력의 일환으로, 작업의 성격에 따라 서로 다른 AI 모델을 활용하는 '멀티모델 라우팅' 전략으로 해석된다. 오픈AI는 9일(현지시간) GPT-5.6의 정식 서비스를 시작했다.

MS 365 코파일럿에서 GPT-5.6을 권장 모델로 채택함으로써, 다양한 작업에 맞는 AI 모델 활용이 가능해진다.

오픈 모델에 대한 규제 논의와 향후 6개월 전망

현재 오픈 소스 AI의 실현 가능성에 대한 가장 심각한 테스트가 진행 중이다. 백악관에서는 오픈 모델을 관리하기 위한 새로운 행정명령에 대한 논의가 이루어지고 있으며, 이는 중국산 모델과 정부 사용에만 영향을 미칠 것으로 보인다. 오픈 모델은 GPT 5.5, Claude Opus 4.8, GLM-5.2 이상의 능력을 가진 모델에 대해 금지되거나 무기한 연기될 가능성이 높다. 이러한 규제는 주로 중국 모델에 대한 정치적 캠페인과 관련이 있으며, Anthropic이 주도하고 있다.

오픈 모델이 GPT 5.5 수준의 능력에 도달할 경우, 규제의 대상이 될 수 있다.

Apple 자율주행차 프로그램이 남긴 강력한 AI 칩의 유산

Apple의 자율주행차 프로그램은 실제로 시작되지 않았지만, 이 과정에서 회사의 칩이 강력한 AI 성능을 갖추게 되었다. 자율주행 플랫폼 개발 초기, Apple은 강력한 온디바이스 AI 처리가 필요하다는 것을 인식했다. 비록 자동차 프로세서는 완성되지 않았지만, 이는 Apple의 온디바이스 AI 처리의 핵심인 Neural Engine 개발로 이어졌다. Neural Engine은 iPhone X와 A11 Bionic에서 처음 등장했으며, 주로 컴퓨터 비전 기능에 사용되었다.

Neural Engine은 Apple의 온디바이스 AI 처리의 핵심으로, FaceID와 Animoji와 같은 기능을 지원한다.

트럼프 행정부, 중국산 오픈소스 AI 모델 규제 검토

미국 트럼프 행정부가 중국산 오픈소스 AI 모델의 성장에 대응하기 위한 정책 검토에 착수했다. 초기 논의 단계로, 중국 기업이 개발한 오픈소스 AI 모델의 정부 사용 제한을 위한 행정명령 가능성이 거론되고 있다. 보안 위험을 초래할 수 있는 오픈소스 AI 규제 방안에 대해 논의 중이다.

중국 오픈소스 AI 모델이 가격 경쟁력과 성능 향상으로 미국 시장에서 점유율을 높이고 있다.

오픈AI 안전 책임자 요하네스 하이데케 퇴사 및 조직 개편

오픈AI의 안전 책임자 요하네스 하이데케가 조직 개편에 따라 회사를 떠난다. 이번 퇴사는 오픈AI가 AI 안전 조직을 연구 조직과 통합하는 개편을 단행한 직후에 발생했다. 안전팀은 연구 담당 부사장이자 정렬 책임자인 미아 글레이즈 산하로 편입되며, 글레이즈는 연구와 안전 조직을 모두 총괄하게 된다.

오픈AI의 안전 조직 통합은 AI 안전 시스템의 연구와 개발에 영향을 미칠 수 있다.

AI 데이터 센터 건설에 대한 반대 운동 시작

2015년 애플은 아일랜드 아테니에서 약 10억 달러 규모의 데이터 센터 건설 계획을 발표했다. 이 데이터 센터는 유럽 내 애플 서비스인 iTunes, iMessage, Siri를 지원하기 위해 500에이커의 부지를 사용할 예정이다. 최근 AI의 발전이 지역 전력망에 위협을 가하면서, 데이터 센터 건설에 대한 반대 운동이 커지고 있다.

애플의 데이터 센터는 유럽 내 서비스 운영에 중요한 역할을 하며, 지역 사회의 전력망에 미치는 영향이 우려된다.