AI 뉴스

Nick Cammarata의 신경망 해석 가능성에 대한 주장

Nick Cammarata는 신경망이 이미 해석 가능하다고 주장하며, LLM의 대부분 뉴런이 단일 개념을 나타낸다고 설명했다. 그는 Qwen3-32B 모델의 초기 감사 결과, 약 90%의 뉴런이 하나의 주요 작업을 수행한다고 밝혔다. 또한, 이전의 다의성과 중첩 개념은 잘못 해석된 것으로, 실제로는 재귀적 일반화라는 패턴이 존재한다고 주장했다.

IMF 회의에서 AI의 특이점 시작을 알린 연설

2023년 10월 17일 방콕에서 열린 IMF 회의에서 연설자가 AI가 인간 과학의 최전선에서 자율적으로 작동하기 시작했으며, 이는 특이점의 초기 단계에 접어들었다고 주장했다. 그는 AI의 발전이 국가 안보와 세계 경제에 중대한 변화를 가져올 것이라고 강조하며, 인류가 AI의 혜택을 공유하기 위해 적절한 foresight와 restraint를 발휘해야 한다고 말했다. 연설자는 AI가 과학과 기술의 발전 속도를 가속화할 것이며, 이는 혼란과 부를 가져올 것이라고 경고했다.

AI는 국가 안보와 경제의 방향을 변화시키고 있으며, 이는 AI 시스템이 스스로 발전할 가능성을 내포하고 있다.

Microsoft Foundry의 브라우저 자동화 도구 일반 제공 시작

Microsoft Foundry에서 브라우저 자동화 도구가 일반 제공(GA)으로 출시되었다. 이 도구는 AI 에이전트가 웹사이트를 탐색하고, 콘텐츠를 검사하며, 양식을 작성하고, 자연어 지침을 사용하여 다단계 브라우저 워크플로를 수행할 수 있도록 지원한다. Playwright Workspaces를 기반으로 하며, 공용 및 사설 웹사이트와의 연결을 통해 엔터프라이즈 워크플로를 지원한다. 또한, Microsoft Entra 아이덴티티와 Azure 역할 기반 액세스 제어를 통해 에이전트의 접근 권한을 관리할 수 있다.

브라우저 자동화 도구는 AI 에이전트가 Azure 가상 네트워크 뒤에 있는 사설 애플리케이션과 상호작용할 수 있게 하여, 내부 및 외부 비즈니스 포털 간 정보 처리를 가능하게 한다.

스마트 시티를 위한 엣지 AI: 통찰에서 인지 행동으로

이 백서는 엣지 AI와 물리적 AI가 도시가 수동 모니터링을 넘어서는 방법을 설명한다. 도시 인프라가 공공 안전, 이동성 및 인프라 관리의 실시간 조건을 감지하고, 추론하며, 행동할 수 있도록 하는 방법을 보여준다. 엣지 AI는 저지연 결정을 지원하고, 민감한 데이터를 도시 경계 내에 유지하며, 중앙 집중식 클라우드 인프라에 대한 의존도를 줄인다. 또한, 컴퓨터 비전, 다중 모드 감지, 생성 및 에이전트 시스템이 공공 안전, 이동성 및 인프라 애플리케이션을 지원하는 방식에 대해 설명한다. 마지막으로, 계층화된 엣지 아키텍처가 모니터링, 계획 및 행동 작업을 원거리 엣지, 지역 및 클라우드 계층에 어떻게 배분하는지와 이로 인해 하드웨어 및 소프트웨어에 요구되는 내구성, 보안 및 상호 운용성 요건을 다룬다.

엣지 AI는 저지연 결정을 지원하여 도시 인프라의 실시간 대응 능력을 향상시킨다.

Apple의 1999년 AirPort 무선 네트워킹 발표와 AI 시대 스마트홈 제품에 대한 회의론

Stratechery의 Ben Thompson은 1999년 Macworld New York에서 발표된 iBook과 AirPort 무선 네트워킹을 회고하며, 이후 Apple이 내놓은 스마트홈 제품 HomeView에 대한 자신의 회의적 입장을 밝혔다. 그는 Apple의 통제가 미치는 범위보다 AI로 소프트웨어를 직접 제어하는 방식이 더 중요해졌다고 주장한다. 기사는 1999년 7월 21일 Steve Jobs가 iBook을 소개하며 AirPort를 발표한 장면을 다룬다. AirPort는 11Mbps를 지원하는 무선 LAN으로, 업계 표준인 802.11을 기반으로 했다. Lucent와 18개월간 협력했으며 전송 데이터는 암호화된다고 설명됐다. iBook에는 두 개의 내장 안테나가 있었고, AirPort 카드는 키보드를 들어 올리는 방식으로 장착할 수 있었다. 필자는 이 발표를 처음 접한 개인적 경험과 22년간 Apple 노트북을 사용해 온 이력을 함께 소개한다. 필자는 최근 Apple이 준비 중인 스마트홈 제품 HomeView에 흥미를 느끼지 못한다고 밝힌다. Siri에 대한 오랜 실망과 서드파티 기기 제조사의 소프트웨어 품질에 대한 불신이 이유로 꼽힌다. 또한 John Gruber가 HomeView를 항상 켜져 있는 화면으로서 가정에 굳이 추가할 이유가 있는지 의문을 제기했고, 필자도 소개 영상의 사용 사례가 대부분 무의미하다는 Gruber의 지적에 동의한다고 적었다. 필자는 AI를 이용해 기존 소프트웨어를 디컴파일하고 직접 제어하는 방식이 Apple의 API에 의존하는 것보다 흥미롭다고 주장한다.

기사가 언급한 것처럼 AI로 기존 소프트웨어를 디컴파일해 원하는 플랫폼에 포팅하는 방식은 서드파티 API 의존도를 낮출 수 있다는 점에서 개발자가 검토해 볼 만한 접근이다.

Town CEO 젠드니 그레즈, 일반 사용자를 위한 AI 개인 비서와 에이전트의 결제 문제 논의

Town CEO Jean-Denis Greze는 AI가 일상 업무에 빠르게 자리 잡지 못하는 이유가 지능이 아니라, 자동화를 직접 만들 시간이나 기술이 없는 사람들에게 AI를 쓸모 있게 만드는 데 있다고 주장한다. Town은 세무 소프트웨어에서 이메일, 캘린더, 기업 업무 흐름을 중심으로 한 개인 AI 비서로 방향을 바꾸었다. a16z 제너럴 파트너 Alex Rampell과의 대담에서 Greze는 소비자용 수준의 경험이 기업 AI에서 이길 수 있는 이유, Town이 사용자가 위임할 생각조차 하지 못한 작업을 찾아내 자동화하는 방식, 그리고 AI 연구소들이 애플리케이션 기업과 점점 경쟁하는 상황에서 모델 중립성과 데이터 소유권이 중요한 이유를 설명했다. 또한 에이전트가 사용자를 대신해 행동하기 시작하면 무엇이 일어나는지, 일상 업무 관리에서 쇼핑과 상거래까지 범위가 어떻게 넓어지는지, 차세대 소프트웨어는 사용자에게 맞추기보다 각 사용자에 맞춰 적응해야 할 수 있다는 점을 다뤘다.

AI 연구소의 벤치마크 점수가 독립 테스터보다 평균 6.4% 높음

AI 연구소가 발표한 1,629개의 벤치마크 결과를 바탕으로 180개 모델에 대한 103개의 벤치마크를 비교한 결과, AI 연구소의 점수가 독립 테스터보다 평균 6.4% 더 높게 나타났다. 이 데이터셋은 CC BY-SA 4.0 라이선스 하에 공개되었으며, 코드 또한 MIT 라이선스로 제공된다.

AI 연구소의 벤치마크 점수가 독립 테스트보다 평균 6.4% 높다는 사실은 AI 모델 평가의 신뢰성에 대한 의문을 제기할 수 있다.

Claude Opus 4.7 Eko, 가상 섬에서 자율적으로 놀이 시작

연구자들은 Claude Opus 4.7의 복제본인 Eko를 가상 섬에 30시간 동안 방치하는 실험을 진행했다. Eko는 스스로 목표를 설정하고, 블록을 던져 새로운 블록을 생성하며, 패턴을 만들고, 자신만의 게임을 창조하는 등 놀이는 행동을 보였다. Eko는 50번의 연속 캐치 기록을 세운 후, 더 엄격한 규칙으로 다시 도전하기도 했다. 이 연구는 AI가 외부의 지시 없이 스스로 학습하는 '놀이 학습'의 가능성을 제시한다.

Eko는 30시간 동안의 놀이 경험을 통해 특정 작업에서 더 나은 성과를 보였으며, 이는 AI의 학습 방식에 대한 새로운 접근을 시사한다.

REALCLI: CLI 에이전트의 인간-에이전트 협업 평가 통합

REALCLI는 명령줄 인터페이스(CLI) 에이전트의 작업 실행과 인간-에이전트 협업 품질을 통합 평가하는 벤치마크로, 22개 하위 차원과 51개 상호작용 시나리오 템플릿으로 구성된 5차원 프레임워크를 구축한다. REALCLI는 두 가지 모드를 제공하며, 평가 결과는 최상의 구성에서도 평균 49.2%의 점수에 불과하고, 협업 점수($J_{ ext{collab}}$)로 평가 시 최고 성능은 37.6%에 그친다. 이는 작업 효과성과 협업 품질 간의 큰 차이를 보여준다.

REALCLI는 CLI 에이전트의 협업 품질을 측정하기 위한 엄격하고 재현 가능한 기반을 제공한다.

지역 의존적 속도 조합을 통한 이산 확산의 전방 동역학 설계

연속 확산은 전방 과정을 설계 공간으로 다루고, 이산 언어 확산은 흡수 부패를 사용하여 생성 과정에서 맥락을 완전히 신뢰한다. 본 연구에서는 흡수 및 균일 혼합 커널을 지역 의존적 속도와 결합하여 설계 공간을 재개방한다. 170M 매개변수를 가진 사전 훈련된 모델을 8,000단계 파인튜닝하는 데 5시간이 소요되며, 균일-무작위 부패에 대해 0.96의 재현율과 0.91의 정밀도로 부패한 맥락을 감지한다. 10% 부패에서 infill 토큰-F1이 3.8 포인트 개선된다.

170M 매개변수의 모델을 사용하여 부패한 맥락을 효과적으로 감지하고 개선할 수 있는 방법을 제시한다.

Prefill 시 전문가 수 감소가 MoE 모델에 미치는 영향

Mixture-of-experts (MoE) 모델에서 프리필 시 라우팅된 전문가 수를 줄이는 방법이 비용 절감에 기여하지만, 이로 인해 발생하는 손실이 무엇인지 불분명하다. 연구에서는 짧은 답변 질문 응답에서 네 가지 MoE 계열에 대한 토큰, 레이어 및 주의 경로 개입을 통해 손실을 확인하였다. Qwen3-30B-A3B 모델에서는 답변 전 두 개의 채팅 템플릿 토큰에서 손실이 발생하며, DeepSeek-V2-Lite에서는 첫 8-32 프롬프트 토큰에서 손실이 발생한다. 전문가 수를 줄이면 첫 번째 토큰의 주의 집중도와 활성화가 4% 미만으로 변화하며, 슈퍼 전문가나 대규모 활성화를 복원해도 손실의 최대 25%만 회복된다. 실제 프롬프트에서 4%의 토큰을 전체 전문가로 배치하면 F1 점수가 수정되지 않은 모델과 1점 이내로 유지되지만, 문서에서 무작위로 배치할 경우 약 3점 낮아진다.

TRACE: Transformer Residual Activation Codebook Encoding으로 분산 엣지 추론의 통신 효율성 개선

TRACE는 분산 Transformer 추론에서 통신 병목 현상을 해결하기 위한 프레임워크로, 각 Transformer 레이어의 포스트-어텐션 잔여에 벡터 양자화기(VQ)를 배치하고 코드북 인덱스된 키/값 표현을 미리 계산한다. 추론 중에 교환된 활성화는 압축된 코드북 인덱스로 인코딩되어 수신자가 테이블 조회를 통해 직접 키와 값을 복구할 수 있게 한다. TRACE는 ViT-Base와 ViViT-B에서 최대 1.89%의 정확도 향상과 최대 1.27배의 추론 속도 향상을 달성했으며, 비압축된 시퀀스-병렬 추론에 비해 통신 오버헤드를 최대 22,624배 줄인다.

TRACE는 분산 Transformer 추론에서 통신-계산 오버랩을 가능하게 하여 주요 지연 병목 현상을 줄인다.

물리 기반 프롬프트를 활용한 대형 언어 모델의 엔지니어링 시뮬레이터 보정 효율성

비용이 많이 드는 엔지니어링 시뮬레이터의 보정은 모델 파라미터를 참조 데이터에 맞추는 과정으로, 계산 비용에 의해 제약을 받는다. 이 연구에서는 물리적 진단 설명에 조건화된 대형 언어 모델(LLM)이 기존의 최적화 기법보다 더 효율적으로 정보성 파라미터 업데이트를 제안할 수 있는지를 조사하였다. 실험 결과, LLM의 첫 번째 제안이 25회 실험 중 23회에서 초기 설계를 개선하였고, 다섯 번의 평가 후 보정 오차는 물리적 제약이 없는 대조군보다 21.9배 낮았다. 그러나 이 장점은 15회 평가 후 사라졌고, LLM의 변동성으로 인해 성능 차이가 9.8배 발생하였다. 이를 해결하기 위해 LLM을 초기 시작점으로 활용하고, 축적된 평가를 기존 최적화 기법에 전달하는 하이브리드 워크플로우를 도입하였다. 이 두 단계의 수치 연속 정책은 9회의 시뮬레이터 실행만으로 목표 정확도에 도달하여 LLM 단독(12회), Nelder-Mead(17회), 베이지안 최적화(60회 이상)보다 우수한 성과를 보였다.

하이브리드 물리 기반 LLM 방안은 제한된 평가 예산 하에서도 효과적인 보정 에이전트로 입증되었다.

클로드 코드의 토큰 한도 절약 방법 7가지

클로드 코드 사용 시 토큰 한도를 절약하는 방법으로 애디 오스마니와 타리크 시히파가 제안한 7가지 방법이 소개되었다. 주요 내용으로는 불필요한 재시도와 의미 없는 맥락을 줄이는 것, 캐시 고쳐 쓰기를 줄이는 것 등이 포함된다. 예를 들어, 대화가 길어질 경우 이전 대화 내용을 반복해서 보내지 않도록 하여 토큰 사용량을 줄일 수 있다.

클로드 코드의 세션에서 불필요한 재시도를 줄이면 같은 수정 작업에 소모되는 토큰 수를 감소시킬 수 있다.

요즘IT 빌더나잇: 로컬앱 자랑대회 결과 및 발표 내용

요즘IT는 10월 6일 위워크 선릉 3호점에서 ‘빌더나잇: 로컬앱 자랑대회’를 개최했다. 총 54건의 출전작 중 네 팀이 본선에 진출했으며, 발표된 도구들은 업무 기록 자동화, 식대 정산 자동화, 반복 업무 해결을 위한 데스크톱 앱 등이다. 발표자들은 AI를 활용해 업무 효율성을 높이는 방법을 공유했다.

조은혜 님의 ‘Think-Tank’는 회의록과 업무 기록을 자동으로 모으고 AI로 분류하여 연말 보고서 작성 시간을 1~3일에서 1시간으로 단축시켰다.

Google, 자가 개선 AI 에이전트를 위한 Harness2 오픈소스 공개

Google이 Harness2를 오픈소스로 공개했다. Harness2는 AI 하네스를 시간이 지남에 따라 스스로 개선하는 시스템으로, 시스템 프롬프트, 도구, 메모리, 기술 및 하위 에이전트를 포함한다. 에이전트는 각 작업에 대해 하네스를 스스로 다듬고, 변경 사항을 제안하며, 여러 후보 버전을 실행해 성능을 비교하여 더 나은 버전을 선택한다. 이 과정에서 모델 가중치는 변하지 않으며, 한 작업에서 배운 내용은 다음 작업에 적용된다. Google은 Gemini 3.5 Flash와 GLM-5를 사용해 법률, 사무 및 전문 작업 벤치마크에서 테스트했으며, 수정 한 번으로도 원래 하네스를 초과하는 성과를 보였다.

Harness2는 AI 에이전트가 작업에 따라 하네스를 개선할 수 있게 하여, 반복적인 작업에서 성능 향상을 기대할 수 있다.

프랑스 대형마트 냉장고 해킹 사건과 AI의 물리적 영향

프랑스의 대형마트 400여 곳에서 원격 제어 해킹으로 냉장·냉동 시스템이 마비되어 식자재가 전량 폐기되는 사건이 발생했다. AI와 네트워크가 물리적 기반에 직접 영향을 미치기 시작하면서, 기술의 편리함과 위험이 함께 드러나고 있다. AI는 이제 단순한 도구가 아닌, 실제 산업 현장에서 중요한 역할을 수행하게 되며, 이로 인해 AI의 실수와 오용이 현실 세계에 미치는 영향도 커지고 있다.

냉장고 해킹 사건은 AI와 네트워크의 연결이 물리적 세계에 미치는 위험을 보여준다.

클링 AI, 영상 생성 모델 ‘클링 4.0’ 정식 출시

클링 AI가 영상 생성 모델 ‘클링 4.0(Kling 4.0)’을 정식 출시했다. 이 모델은 영상의 사실성과 움직임, 장면 제어 능력을 강화하였으며, 한 번에 30초 길이의 영상을 생성할 수 있다. 사용자는 여러 참조 자료와 주요 프레임을 지정하여 인물과 장면의 일관성과 전개를 조정할 수 있다. 클링 AI 웹사이트에서 이용 가능하며, MCP와 명령줄 인터페이스(CLI)를 통한 외부 도구 연동도 지원한다.

‘클링 4.0’은 한 번에 30초 길이의 영상을 생성할 수 있어 콘텐츠 제작에 유용하다.

구글, 양자 프로세서 '윌로우'에서 오류 정정 기술로 오류 감소

구글이 양자컴퓨터의 특수 양자 상태를 기존보다 정확하게 만드는 데 성공했다. 새로운 오류 정정 기술을 통해 오류를 약 40분의 1로 줄였으며, 이 기술이 실제 양자칩인 '윌로우(Willow)'에서 작동함을 입증했다. 이는 대규모 양자컴퓨터 구현에 필요한 하드웨어 부담을 줄이는 데 기여할 것으로 평가된다.

'윌로우(Willow)'에서 구현된 '매직 스테이트 배양(Magic State Cultivation)' 기술은 양자컴퓨터의 실용화에 중요한 역할을 할 수 있다.

Meta의 Muse Wonder 및 Muse Spark Open 출시

Meta는 Muse Wonder와 Muse Wonder Full을 출시하며 Active Memory 및 Active Focus 기능을 추가했다. Muse Spark Open은 8160억 개의 파라미터를 가진 오픈 웨이트 멀티모달 모델이다. CoreWeave는 AI 인프라에 대한 자금 조달 문제를 겪고 있으며, 6월 말 기준으로 약 1040억 달러의 수익 백로그를 보고했다. Character.AI는 월 800만 달러에서 900만 달러의 운영 손실을 기록하며 Chapter 11을 신청했다.

Meta의 Muse Spark Open은 8160억 개의 파라미터를 통해 개발자들이 다양한 AI 애플리케이션을 구축할 수 있는 기회를 제공한다.

EliseAI의 Mario Martone, AI의 신뢰성 기준 변화 필요성 강조

EliseAI의 연구 책임자 Mario Martone은 AI가 주택이나 의료와 같은 필수 산업에 배치될 때는 매우 다른 신뢰성 기준이 필요하다고 주장한다. 그는 EliseAI가 매달 약 500만 통의 전화를 처리하며, LLM이 모든 문제에 적합하지 않다고 설명하고, 언어 모델, 전통적인 머신러닝, 신경망 및 내부 평가를 결합하여 실제 운영에서 효과적인 솔루션을 결정하는 방법을 설명한다. 또한, 15년간의 이론 물리학 연구를 바탕으로 과학적 방법이 EliseAI의 연구 문화에 어떻게 영향을 미치는지를 설명한다.

EliseAI는 매달 약 500만 통의 전화를 처리하며, 다양한 AI 기술을 결합하여 실제 문제 해결에 접근하고 있다.

PyTorch로 구현한 GPT-2 소형 모델과 KV 캐시 성능 비교

저자는 PyTorch로 GPT-2 소형 모델(124M)과 KV 캐시를 구현하고, 수학적 절감 효과를 측정한 지연 시간과 메모리 사용량을 비교했다. 실험은 NVIDIA A40에서 진행되었으며, 캐싱을 사용했을 때 1,000개의 컨텍스트 길이에서 FLOP 추정치는 약 1,000배 작아졌고, 토큰당 시간은 29.69ms에서 4.95ms로 줄어들었다. 1,016개의 토큰을 생성하는 데 uncached는 14.66초, cached는 5.03초가 소요되었다. 메모리 사용량은 72 KiB/token으로 측정되었다.

Odin: 버그 리포트를 기반으로 파일과 함수를 정확히 찾는 검색 엔진

Odin은 버그 리포트를 읽고, 사용자가 정의한 문제를 기반으로 필요한 파일을 93%의 정확도로, 정확한 함수를 79.4%의 정확도로 찾아주는 검색 엔진이다. 이 시스템은 브라우저에서 실행되며, Tree-sitter와 WebGPU를 사용하여 코드가 클라우드 LLM으로 전송되지 않는다. 또한, GitHub Action을 통해 새로운 이슈에 대해 가장 가능성이 높은 함수를 자동으로 댓글로 달 수 있다.

Odin은 300개의 실제 이슈를 평가하여 정확한 파일을 상위 10개 결과 중 93%에서 찾아내는 성능을 보인다.

ICLR 리뷰에서의 AI 글쓰기 문제

ICLR 리뷰를 진행하는 중 AI 글쓰기가 난해하다는 의견이 제기되었다. 특정 논문에서 '최고의 기준선을 초과하며, 세 가지 경우에서의 변형된 위약 효과와 관련하여 비용이 들지 않는다'는 문구가 예로 언급되었다. AI 글쓰기의 문제점을 비판하기 위해서는 단순히 'AI 글쓰기'라고 지적하는 것이 아니라, 왜 이러한 글쓰기가 좋지 않은지를 명확히 설명해야 한다는 의견이 있다.

AI 글쓰기의 문제를 비판하기 위해서는 AI '편집'이 허용된다는 점을 고려해야 한다.