AI 리서치·논문
자율 협업을 위한 다중 에이전트 LLM 시스템의 자기 조직화 연구
다중 에이전트 LLM 시스템이 자율 협업자로 점점 더 많이 사용되고 있으며, 에이전트들이 고정된 워크플로우를 수행하는 것이 아니라 자유롭게 상호작용한다. 이러한 환경에서는 효과적인 조정이 사전에 완전히 설계될 수 없으며, 상호작용을 통해 나타나야 한다. 그러나 대부분의 기존 연구는 고정된 역할, 워크플로우 또는 집계 규칙을 통해 조정을 강제하고 있어, 조정이 제약되지 않을 때 자기 조직화 팀의 성과가 어떠한지에 대한 질문이 남아 있다.
VideoFlexTok: 유연한 길이의 비디오 토큰화 기술
Visual tokenizers는 고차원 원시 픽셀을 압축된 표현으로 변환하여 다운스트림 모델링에 사용된다. 비디오 토큰화의 일반적인 접근 방식은 비디오를 공간-시간 3D 그리드의 토큰으로 표현하는 것으로, 각 토큰은 원래 신호의 해당 지역 정보를 캡처한다. 이는 텍스트-비디오 모델과 같은 다운스트림 모델이 비디오의 복잡성에 관계없이 모든 저수준 세부 정보를 '픽셀 단위'로 예측하도록 학습해야 함을 의미한다.
Kent Beck의 소프트웨어 공학에 대한 영향과 AI 시대의 도전
Kent Beck은 Extreme Programming을 창시하고, 테스트 주도 개발(TDD)을 선도했으며, JUnit의 공동 창립자이자 'Agile Manifesto'의 저자 중 한 명이다. 그는 현재 AI 시대에 맞춰 많은 아이디어를 재검토하고 있으며, 새로운 코드가 축적되는 속도와 동일한 비율로 신뢰를 축적하지 못하고 있다고 주장한다. Beck은 소프트웨어 공학이 단순히 코드를 작성하는 것 이상이며, 코딩은 그 과정의 일부에 불과하다고 강조한다. 또한, 그는 TDD가 '발명'된 것이 아니라 '재발견'된 것이라고 설명한다.
멜버른, AI와 에너지 시스템 통합을 위한 글로벌 리더십 강화
AI가 전 세계적으로 전력 수요를 증가시키고 있는 가운데, 멜버른은 에너지 시스템의 통합을 통해 이러한 도전에 대응하고 있다. 호주 멜버른은 데이터 센터가 2035년까지 국가 전력 소비의 최대 11%를 차지할 것으로 예상되는 가운데, 에너지 수요를 충족하기 위한 시스템 설계가 필요하다는 점을 강조하고 있다. 멜버른은 청정 에너지 부문과 디지털 인프라의 발전을 통해 에너지, 네트워크, 컴퓨팅 시스템을 통합적으로 설계하는 데 강점을 보이고 있다. 멜버른 에너지 연구소는 AI 기반 에너지 수요를 지원하기 위한 시스템을 발전시키고 있으며, 스마트 그리드 연구소는 전력 시스템의 실시간 시뮬레이션을 통해 더 효율적인 에너지 시스템 설계를 지원하고 있다.
Emily Bender, 'Stochastic Parrots' 논문 5주년 기념 블로그 포스트 발표
2021년 3월, Emily M. Bender를 포함한 연구자들이 발표한 논문 'On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?'는 대형 언어 모델이 텍스트를 이해하지 않고 통계적으로 단어의 순서를 예측한다고 주장했다. Bender는 이 논문이 '인공지능'이라는 용어가 기술을 명확히 설명하지 못한다고 지적하며, 많은 사람들이 'AI'를 챗봇이나 대형 언어 모델과 동일시하는 경향이 있다고 설명했다. 그녀는 'stochastic parrot' 비유가 잘못 이해되고 있다고 강조했다.
NVIDIA BioNeMo Agent Toolkit과 Claude Science 통합
NVIDIA는 생명 과학 연구자들이 더 정교한 워크플로우를 실행할 수 있도록 GPU 가속 컴퓨팅 스택을 구축해왔다. Anthropic은 과학 연구를 위한 AI 작업대인 Claude Science를 발표했으며, 이는 연구자들이 자연어로 에이전트와 대화하여 작업을 수행할 수 있게 한다. Claude Science는 NVIDIA BioNeMo Agent Toolkit과 통합되어, 연구자들이 워크플로우 내에서 NVIDIA 가속 기능을 호출할 수 있도록 지원한다. BioNeMo Agent Toolkit은 Evo 2, Boltz-2, OpenFold3와 같은 가속화된 모델에 접근할 수 있게 하여 분석 속도를 높인다. 이 툴킷은 과학적 에이전트가 필요한 맥락을 제공하여 각 단계에서 적절한 NVIDIA 과학적 기능과 연결할 수 있도록 한다.
Cloudflare, AI 검색 개선을 위한 연구 프로그램 발표
Cloudflare는 AI 검색을 개선하기 위한 연구 프로그램을 시작한다고 발표했다. 이 프로그램은 고객이 공유한 콘텐츠의 신선도 신호와 Cloudflare의 트래픽 흐름 통찰력을 결합하여, 검색 엔진이 더 높은 품질의 콘텐츠를 표면화하고 불필요한 크롤링을 줄이는 것을 목표로 한다. 현재 20% 이상의 웹이 Cloudflare의 네트워크 뒤에 있으며, 50% 이상의 크롤 트래픽이 변경되지 않은 페이지를 다시 가져오는 데 사용되고 있다. 이를 통해 사이트 소유자는 필요 없는 요청에 대한 비용을 절감할 수 있다.
Together AI, ICML 2026에서 9편의 논문 발표
Together AI는 ICML 2026에서 전체 스택에 걸쳐 9편의 논문을 발표할 예정이다. 이 연구는 Together 플랫폼의 기반이 된다. 서울에서 부스 B714에서 만나볼 수 있다.
Together AI, 세계에서 가장 빠른 음성 인식 스택 구축
Together AI는 ASR을 GPU 추론 문제로만 보지 않고 전체 경로 시스템 문제로 다루어 세계에서 가장 빠른 음성-텍스트 변환 스택을 구축했다.
MolmoMotion: 언어 기반 3D 모션 예측 모델
MolmoMotion은 개방형 언어 기반 3D 모션 예측 모델로, 객체 포인트가 미래에 어떻게 움직일지를 예측한다. 이 모델은 로봇 공학, 비디오 생성 및 다음에 일어날 일을 추론해야 하는 다른 시스템에서 더 강력한 모션 예측을 가능하게 한다.
DiScoFormer: 밀도 및 점수 추정용 트랜스포머 모델
DiScoFormer는 밀도 및 점수 추정기를 위한 트랜스포머 기반 모델로, 하나의 순전파로 유한 샘플에서 두 가지 양을 모두 추론할 수 있다. 이 모델은 고전적인 KDE를 일반화하며, 고차원 및 분포 외 설정에서도 정확성을 유지하고, 새로운 분포에 대해 재훈련 없이 사용할 수 있다.
Olmo 3와 Olmo Hybrid의 토큰 수준 분석 결과
Olmo 3와 Olmo Hybrid의 새로운 토큰 수준 분석 결과, 하이브리드 모델이 의미를 지니고 맥락에 의존하는 토큰을 더 잘 예측하는 것으로 나타났다. 반면, 변형 모델은 문자 그대로 복사하는 데 있어 우위를 유지하고 있다.
GPT-3를 활용한 복잡한 작업 해결을 위한 분해 실험
이 실험에서는 GPT-3를 사용하여 복잡한 장난감 작업을 해결하기 위해 분해(decomposition) 기법을 적용하였다. 실험의 목표는 실제 모델에서 분리된 인지(factored cognition)의 가능성에 대한 초기 증거를 제공하는 것이다. 합성 작업으로는 다양한 산술 작업을 선택하였으며, 산술 관련 작업 설정의 장점은 GPT-3가 간단한 수학 연산조차 수행할 수 없다는 점이다.
GPT-3/Neo/J의 다중 선택 과제 평가를 위한 정규화 방법
GPT-3/Neo/J와 같은 자가 회귀 언어 모델에서 다중 선택 과제를 평가하는 여러 방법이 존재하며, 이 글에서는 현재 널리 사용되는 정규화 방법들을 설명한다.
Moravec의 역설에 대한 비판적 분석과 실증적 검증 필요성
Moravec의 역설은 인간에게 어려운 작업은 AI에게 쉬운 반면, 인간에게 쉬운 작업은 AI에게 어렵다는 주장이다. 그러나 이 역설은 실제로 실증적으로 검증된 적이 없으며, AI 연구자들이 이론을 단순화하여 잘못된 예측을 하고 있다는 비판이 있다. Moravec의 역설은 1988년 Hans Moravec의 저서 'Mind Children'에서 유래되었고, AI 연구자들은 주로 체스와 같은 추론 작업에 집중해왔다. 하지만 이러한 접근은 AI의 실제 능력 발전을 예측하는 데 한계가 있다.
AI as Normal Technology의 후속 논의와 2027년 전망
AI as Normal Technology의 영향력이 예상보다 컸으며, 이에 따라 저자들은 AI의 중기적 미래와 사회적 영향에 대한 분석을 강화하기로 했다. 이들은 2026년 말까지 책을 완성할 계획이며, AI의 사회적 영향은 기술 발전보다 예측하기 어렵다는 점을 강조하고 있다. 또한, AI의 이점과 위험은 개발이 아닌 배포 단계에서 실현된다고 설명하며, 정책 결정자들은 예측이 아닌 적응력을 갖춰야 한다고 주장하고 있다.
AI가 법률 서비스 비용 절감을 자동으로 가져오지 않을 것이라는 주장
법률 서비스는 AI의 영향을 받을 가능성이 크지만, 고급 AI가 소비자에게 법적 결과를 저렴하게 제공하지 않을 것이라는 주장이 제기되었다. 법률 서비스의 접근성을 높이기 위해서는 규제 장벽, 적대적 구조, 인간의 개입이라는 세 가지 병목 현상을 해결해야 한다. 특히, 비전문가의 법률 업무 수행을 금지하는 규제와 법률 시장의 경쟁 구조가 AI의 효과적인 활용을 제한하고 있다.
AI 에이전트 신뢰성 측정에 관한 연구 발표
Stephan Rabanser, Sayash Kapoor, Arvind Narayanan이 발표한 논문 'Towards a Science of AI Agent Reliability'에서는 AI 에이전트의 신뢰성을 측정하기 위한 도구와 정의가 부족하다는 점을 지적하고, 12개의 신뢰성 차원으로 분해하여 14개 모델을 평가한 결과 신뢰성 향상이 미미하다는 사실을 밝혔다. 연구팀은 AI 에이전트의 신뢰성을 체계적으로 추적하기 위한 '신뢰성 지수'를 출시할 계획이다.
AI가 생명 프로그래밍을 학습하는 새로운 생물학적 혁명
GPT-5, Arc's Proto, NVIDIA BioNeMo, Nabla's JAM-2, Intercept, Oura Ring 해킹 등이 생물학 분야의 변화를 나타내고 있다. 생물학은 이제 고립된 AI 모델 시연에서 벗어나 읽고, 설계하고, 테스트하며 배포할 수 있는 프로그래밍 가능한 루프로 발전하고 있다.
Ali Behrouz, Cornell 대학원생의 지속적 학습을 위한 새로운 AI 아키텍처 연구
Cornell 대학원생이자 Google 연구원인 Ali Behrouz는 AI의 지속적 학습을 위한 새로운 아키텍처에 대한 연구를 논의했다. 그의 논문 'Nested Learning'은 Jeff Dean에 의해 패러다임 전환 가능성이 있는 작업으로 평가받으며, 모델이 핵심 지식을 보존하면서 새로운 맥락에 적응할 수 있도록 서로 다른 레이어를 서로 다른 주기로 업데이트하는 방식을 제안한다. 이 연구는 인간의 기억 시스템에서 영감을 받았으며, AI의 '수면'을 통한 기억 통합, 모든 딥러닝을 연상 기억으로 보는 관점, 지속적 학습이 프라이버시, 정렬, AGI로 가는 길에 미치는 심오한 함의에 대해서도 다룬다.
AI:AM #4: 모델 의식과 인간의 점진적 권한 약화 논의
이번 AI:AM에서는 Cameron Berg, David Duvenaud, Michiel Bakker, Shawn “swyx” Wang, Bing Xu가 최전선 AI 시스템에 대한 이해와 결정 권한의 이동에 대해 논의했다. Berg는 모델 의식에 대한 논의를 아키텍처, 에이전시, 가치, 복지 실험에 기반하여 설명하고, Duvenaud는 잘 정렬된 AI조차도 경제적 선택을 통해 인간의 권한을 점진적으로 약화시킬 수 있다고 주장했다. Bakker는 유럽의 AI 문제를 주권 문제로 보고, swyx는 에이전트, 평가, 유지 가능한 코드 및 기록 시스템 소유에 대한 실무적 이해관계를 다뤘다. Xu는 인프라 계층에서 자가 개선 컴퓨팅과 GPU 커널 자동화가 CUDA의 방어력을 약화시키기보다는 심화시킬 수 있다고 주장했다.
Glean의 Rebecca Hinds, Work AI Index 2026 보고서 발표
Rebecca Hinds는 Glean의 Work AI Institute 책임자로서 6,000명의 근로자를 조사한 Work AI Index 2026 보고서의 결과를 발표했다. 조사에 따르면 87%의 근로자가 AI를 사용하고 있으며 주당 13시간을 절약하고 있지만, 조직의 성과가 크게 향상되었다고 응답한 비율은 13%에 불과하다. 이는 'botsitting'(AI를 유용하게 만들기 위한 숨겨진 노동)과 'botshitting'(방어할 수 없는 AI 생성 작업 제공)이라는 두 가지 개념으로 설명된다. Hinds는 더 나은 AI 시스템 통합, 스마트한 AI 탐지 정책, 의미 있는 미션에 맞춘 작업 정렬 등의 실용적인 해결책을 논의했다.
로버트 라이트, AI를 인류의 '신 테스트'로 설명
Nonzero의 로버트 라이트가 AI를 단순한 기술적 도전이 아닌 인류의 '신 테스트'로 설명하며, 딥러닝의 진화적 관점에서 모델 간의 선택 시장을 논의했다. 그는 소비자, 기업, 정부가 비제로섬 협력을 강화하는 AI를 선택할지, 아니면 최악의 유인을 반영하고 증폭하는 시스템으로 나아갈지를 결정하는 것이 중요하다고 강조했다.
EMNLP 2023에서 열린 Big Picture Workshop의 주요 내용
EMNLP 2023에서 Big Picture Workshop이 개최되었으며, 다양한 연구 주제를 다룬 고품질 논문들이 제출되었다. 이 워크숍에서는 연구자들이 서로 다른 실험실에서 동일한 주제에 대해 의견을 나누고 통합하는 초청 강연이 진행되었고, 주제는 인-context 학습, 주의(attention)와 설명, 도덕성에 관한 것이었다. 인-context 학습에 대한 논의에서는 랜덤 레이블과 실제 레이블의 중요성에 대한 상반된 주장이 있었고, 주의 메커니즘의 유용성에 대한 평가가 이루어졌다. 또한, AI 모델에 도덕성을 가르치는 연구와 관련하여 새로운 데이터셋인 Value Kaleidoscope가 소개되었다.