Category
AI 리서치·논문
arXiv 논문과 대형 연구소의 기술 리포트를 추적하는 카테고리다. 모델 아키텍처, 학습 기법, 벤치마크 결과처럼 6개월 뒤 제품에 들어올 흐름을 미리 읽는다. 한국 개발자가 논문 전문을 다 읽지 않고도 핵심과 재현 가능성을 가늠하도록 정리한다.
선택된 응답과 거부된 응답 간의 어휘적 차이 분석
LLM 훈련 파이프라인의 마지막 단계에서 선호 데이터는 필수적이다. RLHF 과정에서 보상 모델을 훈련하기 위해 선택된 모델 출력과 거부된 모델 출력을 쌍으로 보여준다. 이 블로그 포스트에서는 질적 측면 대신 문장 임베딩을 사용하여 선택된 응답과 거부된 응답 간의 어휘적 차이를 분석하는 접근 방식을 제안한다. 데이터셋으로는 OpenAI의 Summarize from Human Feedback, Stanford Human Preferences Dataset, Argilla의 Ultrafeedback, Tatsumoto Lab의 Alpaca Farm, Berkeley Nest Lab의 Nectar Dataset이 사용되었다. 문장 임베딩은 384차원으로 생성되었으며, 코사인 거리를 통해 선택된 벡터와 거부된 벡터 간의 거리를 측정하였다.
DLSU 마닐라에서의 강의: 대규모 언어 모델 시대의 필리핀어 NLP 자원
Lj V. Miranda는 필리핀어 NLP 자원에 대한 강의를 진행했다. 그는 7B-70B 파라미터 범위의 대규모 모델과 약 100M 파라미터 범위의 저자원 언어 모델을 비교하며, '장인적' NLP와 '대규모' NLP의 차이를 설명했다. 또한, TLUnified-NER이라는 태그로그 NER 데이터셋을 구축했으며, 이는 공개 접근 가능하고 고품질이며 CoNLL 표준을 따른다. 이 데이터셋은 기존의 WikiANN 데이터셋보다 더 나은 성능을 보였다.
필리핀 NLP의 LLM 시대를 위한 방향성
필리핀 NLP 분야에서 LLM의 발전에 따라 데이터 수집과 평가 기준의 필요성이 강조되고 있다. Meta의 Llama 3.1, Cohere for AI의 Aya Expanse, AI Singapore의 SEA-LION 등 여러 다국어 LLM이 출시되었으나, 필리핀 언어는 여전히 지원받지 못하고 있다. 필리핀 언어의 IFT 데이터는 부족하며, 현재 가장 좋은 데이터셋은 Aya로, Tagalog에 1.46k 샘플, Cebuano에 4.12M 샘플이 포함되어 있다. 연구자들은 LLM의 후속 훈련을 지원하는 자원과 신뢰할 수 있는 벤치마크를 구축해야 한다.
Allstate와 IBM, 보험 포트폴리오를 위한 양자 컴퓨팅 탐색
보험은 복잡하고 상관관계가 있는 위험을 포함하는 어려운 문제를 다룬다. Allstate와 IBM은 양자 컴퓨팅이 이러한 문제를 해결하는 데 어떻게 도움이 될 수 있는지를 보여주고 있다.
IBM, LLM을 활용한 양자 오류 수정 코드 후보 465개 발견
IBM의 연구자들이 LLM(대규모 언어 모델) 기반의 진화적 프레임워크를 개발하여 465개의 독특한 양자 오류 수정 코드 후보를 신속하게 발견했다.
IBM Granite Libraries와 Project Granite Switch 소개
IBM은 LLMs에 소프트웨어 공학의 엄격성과 모듈성을 도입하기 위해 IBM Granite Libraries와 Project Granite Switch를 발표했다.
AI 모델의 활용과 한계에 대한 논의
AI 모델인 ChatGPT와 Claude에 대한 언급이 있으며, OpenAI의 Codex에 대한 Andrew Ambrosino의 의견이 소개된다. AI의 활용에 있어 '맛(taste)'의 중요성이 강조되며, AI가 특정 작업을 수행할 때의 한계와 문제점에 대한 논의가 이어진다. AI 시스템의 신뢰성과 정확성에 대한 우려가 제기되며, AI의 발전 방향에 대한 질문이 포함되어 있다.
저커버그의 개인 초지능 개발 계획과 AI 접근 방식
저커버그는 2026년 6월 23일에 개인 초지능(personal superintelligence) 개발을 목표로 하고 있으며, AI 모델을 개선하기 위해 다양한 AI 툴을 활용하고 있다. 또한, AI의 윤리적 사용과 관련된 문제를 해결하기 위해 노력하고 있으며, AI의 발전이 인류에 미치는 영향을 고려하고 있다.
Neo Labs와 AI의 수학 및 과학 한계
2026년 6월 30일, Paul Erdős의 Nature 기사에서는 OpenAI와 같은 자금이 풍부한 AI 연구소들이 과학 발전에 기여할 수 있는지를 탐구한다. Neo Labs라는 새로운 AI 스타트업들이 AI 연구를 가속화하고 있으며, 이들은 Anthropic, OpenAI, DeepMind, Google Brain 출신의 엘리트 연구자들에 의해 설립되었다. 최근 12개월 동안 생성적 AI 경제는 1,100억 달러의 매출을 기록했으며, 연간 매출 전망은 1,750억 달러를 초과한다. Mirendil과 같은 Neo Lab들은 실제 AI 연구자의 작업을 수행할 수 있는 '자기 가속화' AI를 개발하고 있다.
Anthropic의 Mythos, 사이버 보안 공격에 사용되고 IPO 준비 중
Anthropic은 새로운 LLM인 Mythos의 접근을 확대하고 있으며, 미국 국방부가 이를 사이버 보안 공격에 사용하는 것으로 보도되었다. Mythos는 자가 개선 AI 모델인 RSI의 첫 번째 모델로 여겨질 수 있으며, Anthropic은 유럽연합 및 15개국의 150개 파트너에게 Mythos를 제공할 예정이다. Anthropic은 SEC에 IPO 서류를 비공식적으로 제출했으며, 미국 정부는 주요 AI 기업에 대한 지분 매입 가능성을 논의 중이다. 이와 관련하여 Anthropic은 국가 안보 위험으로 지정된 상태이다.
Anthropic, OpenAI보다 먼저 비공식 IPO 제출
Anthropic이 비공식 IPO 제출을 통해 OpenAI보다 먼저 AI 역사상 가장 큰 IPO를 가속화할 것으로 보인다. 2023년 9월 또는 10월에 이루어질 예정이다. AI 스타트업들은 자금 집중으로 인해 어려움을 겪고 있으며, PitchBook 데이터에 따르면 미국의 857개 유니콘 스타트업 중 절반이 최근 3년간 자금을 조달하지 못했다. AI는 기존 스타트업에 큰 영향을 미치고 있으며, 2021년에 마지막으로 자금을 조달한 스타트업은 평균 68% 가치가 하락했다.
중국, 향후 5년간 2조 위안 AI 데이터 센터 구축 계획
중국은 향후 5년간 2조 위안(약 2954억 달러)을 AI 데이터 센터 구축에 투자할 계획이다. 이는 미국과의 AI 경쟁에서 우위를 점하기 위한 전략으로, 국가발전개혁위원회(NDRC)가 분산된 컴퓨팅 시설을 통합하는 국가 네트워크 구축을 주도할 예정이다. 또한, DeepSeek는 최근 70억 달러의 자금을 확보했다.
RL-파인튜닝된 VLM의 강건성과 사고 일관성
강화 학습(RL) 파인튜닝은 추론 집약적 작업에서 대형 언어 모델(LLM)을 향상시키기 위한 주요 기술로, 비전 언어 모델(VLM)로의 확장이 필요하다. RL로 조정된 VLM은 시각적 추론 벤치마크에서 개선되지만, 약한 시각적 기초, 환각, 텍스트 단서에 대한 과도한 의존성에 취약하다. 간단한 텍스트 교란, 즉 오해를 불러일으키는 캡션이나 잘못된 사고 과정(Chain-of-Thought, CoT) 추적이 강건성과 신뢰도에 상당한 하락을 초래하며, 이러한 효과는 CoT 일관성이 낮을 때 더욱 두드러진다.
회귀 기반의 최대 내적 검색(MIPS) 예측 방법 제안
최대 내적 검색(MIPS)은 데이터베이스에서 주어진 쿼리에 가장 잘 맞는 벡터를 찾는 중요한 서브루틴이다. 본 연구에서는 회귀 기반 접근법인 아모타이즈드 MIPS를 제안하며, 이는 신경망을 훈련시켜 MIPS 솔루션을 직접 예측하도록 한다. 이 방법은 고정된 키 데이터베이스에서 알려진 분포로부터 추출된 쿼리에 대해 MIPS를 반복적으로 해결하는 비용을 절감하는 데 초점을 맞춘다. MIPS 값 함수는 키 집합의 서포트 함수로, 이 함수의 기울기는 최적의 키를 제공한다.
자율 협업을 위한 다중 에이전트 LLM 시스템의 자기 조직화 연구
다중 에이전트 LLM 시스템이 자율 협업자로 점점 더 많이 사용되고 있으며, 에이전트들이 고정된 워크플로우를 수행하는 것이 아니라 자유롭게 상호작용한다. 이러한 환경에서는 효과적인 조정이 사전에 완전히 설계될 수 없으며, 상호작용을 통해 나타나야 한다. 그러나 대부분의 기존 연구는 고정된 역할, 워크플로우 또는 집계 규칙을 통해 조정을 강제하고 있어, 조정이 제약되지 않을 때 자기 조직화 팀의 성과가 어떠한지에 대한 질문이 남아 있다.
VideoFlexTok: 유연한 길이의 비디오 토큰화 기술
Visual tokenizers는 고차원 원시 픽셀을 압축된 표현으로 변환하여 다운스트림 모델링에 사용된다. 비디오 토큰화의 일반적인 접근 방식은 비디오를 공간-시간 3D 그리드의 토큰으로 표현하는 것으로, 각 토큰은 원래 신호의 해당 지역 정보를 캡처한다. 이는 텍스트-비디오 모델과 같은 다운스트림 모델이 비디오의 복잡성에 관계없이 모든 저수준 세부 정보를 '픽셀 단위'로 예측하도록 학습해야 함을 의미한다.
Kent Beck의 소프트웨어 공학에 대한 영향과 AI 시대의 도전
Kent Beck은 Extreme Programming을 창시하고, 테스트 주도 개발(TDD)을 선도했으며, JUnit의 공동 창립자이자 'Agile Manifesto'의 저자 중 한 명이다. 그는 현재 AI 시대에 맞춰 많은 아이디어를 재검토하고 있으며, 새로운 코드가 축적되는 속도와 동일한 비율로 신뢰를 축적하지 못하고 있다고 주장한다. Beck은 소프트웨어 공학이 단순히 코드를 작성하는 것 이상이며, 코딩은 그 과정의 일부에 불과하다고 강조한다. 또한, 그는 TDD가 '발명'된 것이 아니라 '재발견'된 것이라고 설명한다.
멜버른, AI와 에너지 시스템 통합을 위한 글로벌 리더십 강화
AI가 전 세계적으로 전력 수요를 증가시키고 있는 가운데, 멜버른은 에너지 시스템의 통합을 통해 이러한 도전에 대응하고 있다. 호주 멜버른은 데이터 센터가 2035년까지 국가 전력 소비의 최대 11%를 차지할 것으로 예상되는 가운데, 에너지 수요를 충족하기 위한 시스템 설계가 필요하다는 점을 강조하고 있다. 멜버른은 청정 에너지 부문과 디지털 인프라의 발전을 통해 에너지, 네트워크, 컴퓨팅 시스템을 통합적으로 설계하는 데 강점을 보이고 있다. 멜버른 에너지 연구소는 AI 기반 에너지 수요를 지원하기 위한 시스템을 발전시키고 있으며, 스마트 그리드 연구소는 전력 시스템의 실시간 시뮬레이션을 통해 더 효율적인 에너지 시스템 설계를 지원하고 있다.
Emily Bender, 'Stochastic Parrots' 논문 5주년 기념 블로그 포스트 발표
2021년 3월, Emily M. Bender를 포함한 연구자들이 발표한 논문 'On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?'는 대형 언어 모델이 텍스트를 이해하지 않고 통계적으로 단어의 순서를 예측한다고 주장했다. Bender는 이 논문이 '인공지능'이라는 용어가 기술을 명확히 설명하지 못한다고 지적하며, 많은 사람들이 'AI'를 챗봇이나 대형 언어 모델과 동일시하는 경향이 있다고 설명했다. 그녀는 'stochastic parrot' 비유가 잘못 이해되고 있다고 강조했다.
NVIDIA BioNeMo Agent Toolkit과 Claude Science 통합
NVIDIA는 생명 과학 연구자들이 더 정교한 워크플로우를 실행할 수 있도록 GPU 가속 컴퓨팅 스택을 구축해왔다. Anthropic은 과학 연구를 위한 AI 작업대인 Claude Science를 발표했으며, 이는 연구자들이 자연어로 에이전트와 대화하여 작업을 수행할 수 있게 한다. Claude Science는 NVIDIA BioNeMo Agent Toolkit과 통합되어, 연구자들이 워크플로우 내에서 NVIDIA 가속 기능을 호출할 수 있도록 지원한다. BioNeMo Agent Toolkit은 Evo 2, Boltz-2, OpenFold3와 같은 가속화된 모델에 접근할 수 있게 하여 분석 속도를 높인다. 이 툴킷은 과학적 에이전트가 필요한 맥락을 제공하여 각 단계에서 적절한 NVIDIA 과학적 기능과 연결할 수 있도록 한다.
Cloudflare, AI 검색 개선을 위한 연구 프로그램 발표
Cloudflare는 AI 검색을 개선하기 위한 연구 프로그램을 시작한다고 발표했다. 이 프로그램은 고객이 공유한 콘텐츠의 신선도 신호와 Cloudflare의 트래픽 흐름 통찰력을 결합하여, 검색 엔진이 더 높은 품질의 콘텐츠를 표면화하고 불필요한 크롤링을 줄이는 것을 목표로 한다. 현재 20% 이상의 웹이 Cloudflare의 네트워크 뒤에 있으며, 50% 이상의 크롤 트래픽이 변경되지 않은 페이지를 다시 가져오는 데 사용되고 있다. 이를 통해 사이트 소유자는 필요 없는 요청에 대한 비용을 절감할 수 있다.
Together AI, ICML 2026에서 9편의 논문 발표
Together AI는 ICML 2026에서 전체 스택에 걸쳐 9편의 논문을 발표할 예정이다. 이 연구는 Together 플랫폼의 기반이 된다. 서울에서 부스 B714에서 만나볼 수 있다.
Together AI, 세계에서 가장 빠른 음성 인식 스택 구축
Together AI는 ASR을 GPU 추론 문제로만 보지 않고 전체 경로 시스템 문제로 다루어 세계에서 가장 빠른 음성-텍스트 변환 스택을 구축했다.
MolmoMotion: 언어 기반 3D 모션 예측 모델
MolmoMotion은 개방형 언어 기반 3D 모션 예측 모델로, 객체 포인트가 미래에 어떻게 움직일지를 예측한다. 이 모델은 로봇 공학, 비디오 생성 및 다음에 일어날 일을 추론해야 하는 다른 시스템에서 더 강력한 모션 예측을 가능하게 한다.