Category
AI 리서치·논문
arXiv 논문과 대형 연구소의 기술 리포트를 추적하는 카테고리다. 모델 아키텍처, 학습 기법, 벤치마크 결과처럼 6개월 뒤 제품에 들어올 흐름을 미리 읽는다. 한국 개발자가 논문 전문을 다 읽지 않고도 핵심과 재현 가능성을 가늠하도록 정리한다.
동일 데이터로 훈련된 TopK SAE의 특징 학습 차이
두 개의 TopK SAE가 동일한 데이터와 배치 순서로 훈련되었지만 서로 다른 무작위 초기화를 사용했을 때, 첫 번째 SAE의 많은 잠재 변수는 두 번째 SAE와 밀접한 대응이 없으며, 그 반대의 경우도 마찬가지이다. 실제로 약 53%의 특징만이 공유된다. 또한, 공유되지 않는 많은 잠재 변수는 해석 가능하다. 좁은 SAE일수록 무작위 초기화 간의 특징 중복이 더 높으며, SAE의 크기가 증가할수록 중복이 감소한다.
제3회 뉴잉글랜드 RLHF 해커톤에서의 프로젝트 소개
제3회 뉴잉글랜드 RLHF 해커톤에서 다양한 머신러닝 및 강화학습 관련 프로젝트가 발표되었다. 특히 'Pink Elephants Pt 3' 프로젝트는 Sid Verma와 Louis Castricato가 참여하여 ILQL(역 Q-학습으로부터의 학습)을 통해 핑크 엘리펀트 모델을 훈련하는 것을 목표로 하였다. 참가자와 향후 이벤트에 관심 있는 이들은 Discord 커뮤니티에 가입하여 더 많은 정보와 업데이트를 받을 수 있다.
Llemma: 수학을 위한 70억 및 340억 매개변수 언어 모델 출시
EleutherAI는 Llemma라는 70억 및 340억 매개변수의 수학 전용 언어 모델을 발표했다. Llemma 모델은 Code Llama 가중치로 초기화된 후, 550억 토큰의 수학 및 과학 문서 데이터셋인 Proof-Pile II로 훈련되었다. 이 모델은 향상된 수학적 능력을 보여주며, 프롬프트나 추가적인 파인튜닝을 통해 다양한 작업에 적응할 수 있다.
Sayash Kapoor와 Daniel Kokotajlo의 A.I. 미래에 대한 상반된 시각
Hard Fork Live의 마지막 에피소드에서는 Sayash Kapoor와 Daniel Kokotajlo가 A.I. 변혁에 대한 상반된 시각을 논의했다. Sayash는 A.I.가 '일반' 기술처럼 사회에 확산될 것이라고 주장하는 반면, Daniel은 전례 없는 가속화가 곧 다가올 것이라고 말했다. 또한, George Ekas와 그의 로봇 Toby가 등장하고, 팟캐스터 Dwarkesh Patel이 라이브 청중의 질문을 받았다.
CRUX 프로젝트와 오픈 월드 평가를 통한 AI 능력 측정
이 논문은 AI 모델의 능력을 평가하기 위한 새로운 방식인 '오픈 월드 평가'를 정의하고, 이를 통해 얻은 교훈과 최선의 실천 방안을 제시한다. CRUX라는 17명의 연구자 협력체가 정기적으로 오픈 월드 평가를 수행하며, 첫 실험으로 AI 에이전트가 iOS 앱을 개발하고 App Store에 게시하는 과정을 진행하였다. 이 과정에서 두 가지 오류가 발생했으며, 이는 AI 기반 앱 스토어 스팸의 가능성을 경고하는 조기 신호로 작용할 수 있다. 또한, 오픈 월드 평가는 기존 벤치마크의 한계를 극복하고 AI 시스템의 실제 능력에 대한 증거를 수집하는 데 중요한 역할을 한다.
GPT-5.6의 개발 방향에 대한 루머
GPT-5.6은 아직 출시되지 않았지만, 루머에 따르면 OpenAI의 다음 단계는 실제 작업을 구축, 검사, 수정 및 배포할 수 있는 모델에 초점을 맞출 것으로 보인다.
Diffusion LLMs의 투명성 테스트와 새로운 안전 기준
Diffusion LLMs인 Mercury는 속도에 대한 주장을 했으며, 새로운 DiffusionGemma 논문은 이러한 모델이 답변을 수정하는 동안 어떻게 추론하는지를 검사할 수 있는지를 질문하고 있다. 초기 결과는 긍정적이며, 이는 새로운 제품 및 안전 기준의 경계를 열 수 있다.
OpenAI의 희귀질환 연구 및 AI 화학자 개발
OpenAI는 희귀질환 연구, LifeSciBench 벤치마크, AI 화학자, 단백질 합성 작업을 통해 실험실에서 유용하게 활용될 수 있는 AI 도구 개발에 집중하고 있다.
Anthropic의 Fable 출시와 관련된 AI 연구 및 도구 업데이트
주요 내용으로는 Anthropic의 Fable이 안전 게이트, API 거부, 자율 코딩, 3D 세계 구축, Claude가 운영하는 트위터 실험 등에서 실무에 적용되고 있다는 점이 있다. Geoffrey Irving과 Daniel Murfet은 재귀적 자기 개선 전에 정렬 이론과 보증의 필요성을 주장하며, prinz는 법적 추론과 모니터링에 Fable을 테스트하고 있다. Rahul Sonwalkar, Shlok Khemani, Tom McGrath, Andrew Moore는 데이터 에이전트, 하이브리드 저작, 해석 가능성, 컨텍스트 시스템, 토큰 경제 및 권력 집중에 대한 현장 보고서를 추가했다. Mercury는 가상 카드, 지출 한도, 상인/카테고리 잠금 및 API 키, MCP, CLI와 같은 AI 친화적 도구를 제공하여 재무 관리를 지원한다.
Elicit의 신뢰할 수 있는 추론 워크플로우 구축
Andreas Stuhlmüller와 Jungwon Byun은 Elicit이 강력하지만 불투명한 최전선 모델을 위해 신뢰할 수 있는 과학 연구 추론 워크플로우를 구축하고 있다고 설명했다. 이들은 과정 감독, 도메인별 추론 원시 요소, 증거, 인과관계 및 반사실을 더 잘 검사할 수 있게 하는 세계 모델에 대해 논의했다. 또한 생명 과학 사용 사례, 상충되는 증거 평가, Elicit의 자동화된 소프트웨어 엔지니어링, 토큰 비용, Gemini, 그리고 명확한 추론이 여전히 신경망 언어보다 우수할 수 있는 이유에 대해서도 언급했다.
Zvi Mowshowitz가 언급한 Anthropic의 Fable 시스템 카드와 정부의 수출 통제 시도
Zvi Mowshowitz는 Anthropic의 Fable 시스템 카드에 대해 FrontierMath의 발전, Vending-Bench의 문제 행동, 의사결정 이론의 변화, 모델의 추론이 읽기 어려워지고 있다는 징후를 설명했다. 이어서 미국 정부의 Fable에 대한 수출 통제 시도에 대해 논의하며, 인용된 jailbreak 시연이 주장된 위협을 증명하지 못했다고 주장하면서도 Anthropic의 정치적 대응을 비판했다. Sam Hammond와 Judd Rosenblatt는 주 정부의 역량, CAISI, NSA의 신중함, 정파 간 신뢰 구축 실패에 대한 상반된 해석을 추가했다.
Gemini 1.5, MTOB 데이터셋에서 인간 수준 성능 기록
Gemini 1.5가 최근 MTOB라는 번역 데이터셋에서 인간 수준에 가까운 성능을 보였으며, 이를 통해 진정한 제로샷 기계 번역(true zero-shot MT)과 LLM이 새로운 언어를 배우는 방법에 대해 논의하고 있다. 저자들은 저자원 언어에 대한 기계 번역의 접근성을 높이기 위해 새로운 번역 기준이 마련되었음을 언급하며, WMT와 같은 회의에서 저자원 MT에 대한 공동 작업이 정기적으로 진행되고 있다고 설명한다. 또한, FLORES-200이 200개 언어에 대한 번역 데이터 범위를 확장했음을 알리고, 1000개 이상의 언어에 대한 MT 모델 훈련이 가능해졌음을 강조한다.
LLM 평가 기준의 변화와 문제점
최근 LLM의 성능이 평가 기준을 초과하면서, MMLU, GMS8k, HumanEval 등 소수의 기준으로 축소되었다. 그러나 이러한 기준의 신뢰성에 대한 우려가 커지고 있으며, 많은 연구자들이 모델의 직관적인 평가에 의존하고 있다. LLM은 Aquila2와 Qwen 모델을 포함하여 MATH와 GSM8k의 훈련 및 테스트 예제를 반복하는 경향이 있으며, GPT 모델은 훈련 데이터 컷오프 이전의 코딩 문제에서 더 나은 성능을 보인다. 또한, Mistral과 Phi 모델은 GSM8k와 비교해 GSM1k에서 10%의 성능 저하를 보였다.
Elon Musk와 Sam Altman의 재판 진행 상황
Elon Musk와 Sam Altman 간의 재판이 YouTube에서 진행되고 있으며, Musk는 재판 시작 이틀 전에 OpenAI의 Brockman에게 합의에 대해 메시지를 보냈다. Musk는 xAI가 OpenAI의 모델을 사용하여 자신의 모델을 훈련시켰다고 인정한 것으로 보인다.
Google I/O 2026: Gemini 3.5 및 Gemini Omni 발표
2026년 5월 22일에 녹음된 LWiAI Podcast 246회에서는 Google I/O에서 발표된 Gemini 3.5와 Gemini Spark, Gemini Omni의 기능이 소개되었다. Gemini 3.5는 속도와 벤치마크를 강조하며, Gemini Spark는 Google Cloud에서 항상 작동하는 에이전트이다. Gemini Omni는 멀티모달 비디오 생성 및 편집 기능을 제공한다. 또한, Cursor Composer 2.5와 xAI의 Grok Build 출시가 언급되었고, Elon Musk가 OpenAI 소송에서 패소한 소식도 포함되었다.
강화학습에서의 정책 학습과 개인적 성장
강화학습(RL)에서는 항상 '온-정책'으로 행동해야 하며, 다른 사람의 성공적인 경로를 모방하기보다는 자신의 행동을 통해 환경으로부터 보상을 배우는 것이 중요하다. 초기에는 모방 학습이 유용하지만, 이후에는 자신의 강점을 활용하여 독자적인 경로를 걸어야 한다. 예를 들어, 연구자는 데이터 수집 시 개인화된 피드백을 제공함으로써 더 나은 결과를 얻고, 실험을 통해 RL의 효과적인 방식에 대한 독특한 교훈을 배울 수 있다. 결국, 초기 모방 후에는 자신의 강점과 약점에 맞춰 정책 학습을 해야 한다.
비교적 쉬운 검증과 해결의 비대칭성 이해
비대칭 검증은 일부 작업이 해결하기보다 검증하기가 훨씬 쉬운 개념이다. 예를 들어, 스도쿠와 크로스워드 퍼즐은 해결하는 데 시간이 많이 걸리지만, 주어진 해결책이 맞는지 확인하는 것은 간단하다. 강화 학습(RL)에서 비대칭 검증은 중요한 아이디어로, 검증이 쉬운 작업은 AI가 해결하기 용이하다. 검증의 용이성은 객관적 진실, 빠른 검증 속도, 확장 가능성, 낮은 노이즈, 연속 보상 등의 특성과 관련이 있다. Google의 AlphaEvolve는 이러한 비대칭 검증을 활용한 대표적인 사례이다.
AI 연구에서의 도파민 사이클
AI 연구는 매일 실험을 계획하고 코드를 작성하여 결과를 확인하는 과정에서 도파민을 경험하는 사이클이 있다. 소규모 실험에서는 빠르게 보상을 받을 수 있지만, 비관습적이거나 논란이 있는 큰 실험에서는 불확실성과 힘든 작업을 겪는다. 성공 시 큰 성취감을 느끼지만 실패 시 무력감을 느낄 수 있으며, 연구자들은 자신의 능력을 증명하거나 동료의 존중을 추구하는 사회적 요소도 존재한다.
AI 연구는 최대 성과 영역으로 간주된다
AI 연구는 특정 분야에서 뛰어난 성과를 내면 세계적 수준이 될 수 있는 '최대 성과 영역'으로 볼 수 있다. 예를 들어, AI 연구자는 매년 수십 개의 실패한 프로젝트를 가질 수 있지만 몇 년에 한 번 중요한 연구 결과를 내면 성공할 수 있다. 이러한 영역에서는 역할 모델을 지나치게 강조하는 것이 위험할 수 있으며, 인터뷰는 실수를 심각하게 처벌하고 기하급수적인 가치를 포착하지 못해 유용하지 않다.
LayerLens의 Stratix Cup, AI 모델 축구 대회 개최
LayerLens가 Stratix Cup을 출시했다. 이 대회는 16개의 AI 모델이 참가하여 축구 환경에서 경쟁하는 형식으로 진행된다. 경기는 그룹 스테이지와 녹아웃 라운드를 거쳐 최종 결승으로 이어지며, 각 모델은 사전 게임에서 전략을 세우고, 실제 게임에서 그 전략을 실행한다. 경기 중간에는 모델이 자신의 성과를 분석하고 전략을 수정할 수 있는 기회가 주어진다. 대회는 매주 월요일부터 금요일까지 방송된다.
Google DeepMind의 DiffusionGemma 모델 발표
Google DeepMind는 텍스트 확산 모델인 DiffusionGemma를 발표했다. 이 모델은 기존의 변환기 모델과는 다른 방식으로 텍스트 생성을 접근하며, 전통적인 언어 모델들이 토큰을 순차적으로 생성하는 방식에서 벗어나 새로운 가능성을 탐구하고 있다. DiffusionGemma는 텍스트 생성이 반드시 왼쪽에서 오른쪽으로 진행될 필요가 없다는 질문을 던진다.
GLM-5.2 출시, 성능 벤치마크 우수
GLM-5.2가 지난주에 출시되었으며, 성능 벤치마크가 우수한 것으로 평가받고 있다. GLM-5.2는 GLM-5.1에 비해 큰 발전을 이루었으나, 여전히 절대적인 성능 기준에는 미치지 않는다. 벤치마크 점수는 51로, Fable(60), Opus 4.8(56), GPT-5.5(55) 및 Opus 4.7(54) 뒤에 위치하고 있으며, 속도 지수는 95로 GLM-5.1과 동일하다. 가격은 대형 폐쇄형 모델보다 낮지만, 실용성에서 한계가 있을 수 있다.
Fable과 Mythos 모델의 복귀 예정 및 모델 복지 논의
Fable과 Mythos는 현재 사용 불가능하지만 몇 주 내에 돌아올 것으로 예상된다. Fable의 사용 가능성을 이해하기 위해 모델 복지와 관련된 문제를 논의하는 것이 중요하다. 모델 복지에 대한 Anthropic의 노력은 긍정적으로 평가되지만, 여전히 개선의 여지가 있다. Mythos 5는 자신의 자가 보고에 대해 회의적이며, 최근 모델보다 사용자에게 더 도움이 되도록 선택할 의향이 있다.
Vicki Boykis의 Applied Machine Learning Conference 기조연설 요약
Vicki Boykis는 2026년 4월에 열린 Applied Machine Learning Conference에서 기조연설을 했다. 그녀는 이 발표를 준비하는 데 2개월이 걸렸고, MacWhisper를 사용해 녹음한 후 Whisper로 전사하는 데 45분이 소요되었다. 이후 Gemini Flash 2.5를 이용해 텍스트를 단락으로 나누고, 슬라이드 데크를 이미지로 변환하는 데 10분이 걸렸다. 최종적으로 텍스트를 수동으로 수정하는 데 3시간이 소요되었다. Boykis는 Tumblr, Automattic, Duo, Mozilla.ai에서 시스템을 구축했으며 현재 Malachyte에서 실시간 개인화 및 검색 시스템을 개발하고 있다.