AI 리서치·논문
Neural Tangent Kernel(NTK)의 정의와 신경망 훈련 과정
신경망은 과도하게 매개변수가 설정되어 있으며, 훈련 손실이 거의 0에 가까운 데이터에 잘 적합할 수 있다. Neural Tangent Kernel(NTK)은 신경망의 훈련 중 진화를 설명하는 커널로, 충분한 너비를 가진 신경망이 경험적 손실을 최소화하도록 훈련될 때 글로벌 최소값으로 수렴할 수 있는 이유에 대한 통찰을 제공한다. 이 글에서는 NTK의 동기와 정의, 무한 너비의 신경망 초기화에 따른 결정론적 수렴 증명에 대해 다룬다.
Prompt Engineering의 정의와 목표
Prompt Engineering, 또는 In-Context Prompting은 LLM과의 의사소통 방법으로, 모델 가중치를 업데이트하지 않고 원하는 결과를 유도하는 방법을 의미한다. 이는 경험적 과학이며, 프롬프트 엔지니어링 방법의 효과는 모델마다 크게 다를 수 있어 많은 실험과 휴리스틱이 필요하다. 이 글은 자가 회귀 언어 모델에 대한 프롬프트 엔지니어링에만 초점을 맞추고 있으며, 목표는 정렬과 모델 조정 가능성이다.
대형 트랜스포머 모델 추론 최적화
대형 트랜스포머 모델은 현재 다양한 작업에서 최첨단 결과를 내고 있지만, 훈련과 사용에 매우 비용이 많이 듭니다. 특히 높은 추론 비용이 시간과 메모리 측면에서 큰 병목 현상을 초래하여 실제 작업에 대형 트랜스포머를 적용하는 데 어려움을 겪고 있습니다. 추론의 어려움은 모델 크기 증가 외에도 두 가지 주요 요인에 기인합니다.
2026년 6월 Simon Willison의 뉴스레터 발행
2026년 6월 Simon Willison의 후원자 전용 뉴스레터가 발행되었다. 이번 호에서는 Claude Fable 5, GPT-5.6, 미국의 수출 제한, GLM-5.2 모델, Tokenmaxxing 종료, Datasette Apps, sqlite-utils, shot-scraper, 기타 WASM 프로젝트 및 다른 모델 출시 등의 내용이 다뤄졌다. 후원자는 월 $10에 뉴스레터를 구독할 수 있다.
NVIDIA, ENPIRE 소프트웨어로 로봇 자가 개선 루프 개발
NVIDIA는 ENPIRE라는 소프트웨어를 개발하여 물리적 로봇이 자율 실험 및 실행 루프를 통해 학습할 수 있도록 했다. ENPIRE는 환경 모듈, 정책 개선 모듈, 롤아웃 모듈, 진화 모듈의 네 가지 핵심 모듈로 구성되어 있으며, 로봇이 과제를 수행하고 다양한 전략을 시도하며 학습하는 과정을 지원한다. 이 시스템은 자동 평가 및 초기 상태 복원 기능을 통해 인간의 노력을 최소화하고, 로봇이 99%의 성공률을 기록할 수 있도록 한다. 각 작업장은 NVIDIA RTX 5090을 사용하여 운영된다.
2026 Cosmos HAI Lab Lecture: AI 기술의 성공과 사회적 변화
2026 Cosmos HAI Lab Lecture에서 AI 기술의 발전과 그에 따른 사회적 변화에 대해 논의하였다. AI의 지속적인 발전은 개인과 사회가 AI를 어떻게 형성하고 활용할지를 결정해야 함을 강조하며, AI의 성공적인 발전을 위해서는 계획이 필요하다고 언급하였다. AI의 발전을 나타내는 Epoch Capabilities Index(ECI) 그래프를 통해 AI 시스템의 성과를 정리하였고, 2023년 3월부터 AI가 변호사 시험에 합격한 사례와 LLM 기반 시스템이 국제 수학 올림피아드에서 은메달과 금메달을 획득한 사례 등을 소개하였다. 이러한 성과들은 AI 기술의 지속적인 발전을 뒷받침하는 공통 기술에 기반하고 있으며, 향후 AI의 성장은 더욱 가속화될 것으로 예상된다.
fast16 악성코드와 Muon 옵티마이저의 문제점
fast16.sys는 고정밀 계산 소프트웨어를 표적으로 삼아 메모리 내 코드를 패치하여 결과를 조작하는 20년 된 컴퓨터 바이러스이다. 이 바이러스는 LS-DYNA 970, PKPM, MOHID과 같은 고정밀 엔지니어링 도구와 관련이 있으며, 물리적 계산에 체계적인 오류를 도입하여 과학 연구를 저해할 수 있다. 한편, Muon 옵티마이저는 훈련 중 일부 뉴런이 영구적으로 손상되는 버그를 가지고 있으며, 이에 대한 대안으로 Aurora라는 새로운 옵티마이저가 개발되었다. Aurora는 1.1B 파라미터 트랜스포머를 훈련시켜 Muon보다 더 낮은 손실을 기록하였다.
AI 규제를 위한 Radical Optionality 접근법 제안
Institute for Law & AI의 연구자들은 정부가 강력한 AI가 세계를 대규모로 혼란에 빠뜨릴 경우를 대비해 필요한 도구를 미리 갖추는 'Radical Optionality' 접근법을 제안했다. 이들은 정부가 AI 개발의 막대한 이해관계에 따라 유연성을 유지할 수 있도록 정보 수집 권한, 내부 고발자 보호, 정부 간 정보 공유, 유연한 규칙 및 정의, AI 시스템의 평가 능력 개발, 모델 가중치 및 알고리즘 비밀 보안 강화, 기술 인재 투자 등을 권장하고 있다.
Co-Scientist: 연구 가속화를 위한 협업 AI 파트너
Google DeepMind에서 Gemini를 기반으로 구축한 Co-Scientist는 연구자들이 과학적 혁신을 가속화할 수 있도록 돕는 협업 AI 파트너이다.
Adobe의 'audience of one' 개념으로 개인화된 웹사이트 구현
Adobe의 Principal Scientist Carlos Sanchez는 AI Engineer World’s Fair에서 웹사이트가 방문자의 필요에 맞춰 실시간으로 구성될 수 있는 가능성을 제시했다. Adobe는 이를 'agentic site'라고 부르며, 방문자의 행동과 검색 쿼리를 기반으로 페이지를 조합하는 시스템을 시연했다. 예를 들어, 캠핑에 관심이 있는 방문자는 커피 머신 사이트에서 야외에서 커피를 만드는 내용으로 재구성된 페이지를 받았다. 현재 페이지 생성 비용은 페이지당 1~2센트로 추정되며, Adobe는 이 기술을 상용화하기 위해 고객과 실험할 조직을 찾고 있다.
선택된 응답과 거부된 응답 간의 어휘적 차이 분석
LLM 훈련 파이프라인의 마지막 단계에서 선호 데이터는 필수적이다. RLHF 과정에서 보상 모델을 훈련하기 위해 선택된 모델 출력과 거부된 모델 출력을 쌍으로 보여준다. 이 블로그 포스트에서는 질적 측면 대신 문장 임베딩을 사용하여 선택된 응답과 거부된 응답 간의 어휘적 차이를 분석하는 접근 방식을 제안한다. 데이터셋으로는 OpenAI의 Summarize from Human Feedback, Stanford Human Preferences Dataset, Argilla의 Ultrafeedback, Tatsumoto Lab의 Alpaca Farm, Berkeley Nest Lab의 Nectar Dataset이 사용되었다. 문장 임베딩은 384차원으로 생성되었으며, 코사인 거리를 통해 선택된 벡터와 거부된 벡터 간의 거리를 측정하였다.
DLSU 마닐라에서의 강의: 대규모 언어 모델 시대의 필리핀어 NLP 자원
Lj V. Miranda는 필리핀어 NLP 자원에 대한 강의를 진행했다. 그는 7B-70B 파라미터 범위의 대규모 모델과 약 100M 파라미터 범위의 저자원 언어 모델을 비교하며, '장인적' NLP와 '대규모' NLP의 차이를 설명했다. 또한, TLUnified-NER이라는 태그로그 NER 데이터셋을 구축했으며, 이는 공개 접근 가능하고 고품질이며 CoNLL 표준을 따른다. 이 데이터셋은 기존의 WikiANN 데이터셋보다 더 나은 성능을 보였다.
필리핀 NLP의 LLM 시대를 위한 방향성
필리핀 NLP 분야에서 LLM의 발전에 따라 데이터 수집과 평가 기준의 필요성이 강조되고 있다. Meta의 Llama 3.1, Cohere for AI의 Aya Expanse, AI Singapore의 SEA-LION 등 여러 다국어 LLM이 출시되었으나, 필리핀 언어는 여전히 지원받지 못하고 있다. 필리핀 언어의 IFT 데이터는 부족하며, 현재 가장 좋은 데이터셋은 Aya로, Tagalog에 1.46k 샘플, Cebuano에 4.12M 샘플이 포함되어 있다. 연구자들은 LLM의 후속 훈련을 지원하는 자원과 신뢰할 수 있는 벤치마크를 구축해야 한다.
Allstate와 IBM, 보험 포트폴리오를 위한 양자 컴퓨팅 탐색
보험은 복잡하고 상관관계가 있는 위험을 포함하는 어려운 문제를 다룬다. Allstate와 IBM은 양자 컴퓨팅이 이러한 문제를 해결하는 데 어떻게 도움이 될 수 있는지를 보여주고 있다.
IBM, LLM을 활용한 양자 오류 수정 코드 후보 465개 발견
IBM의 연구자들이 LLM(대규모 언어 모델) 기반의 진화적 프레임워크를 개발하여 465개의 독특한 양자 오류 수정 코드 후보를 신속하게 발견했다.
IBM Granite Libraries와 Project Granite Switch 소개
IBM은 LLMs에 소프트웨어 공학의 엄격성과 모듈성을 도입하기 위해 IBM Granite Libraries와 Project Granite Switch를 발표했다.
AI 모델의 활용과 한계에 대한 논의
AI 모델인 ChatGPT와 Claude에 대한 언급이 있으며, OpenAI의 Codex에 대한 Andrew Ambrosino의 의견이 소개된다. AI의 활용에 있어 '맛(taste)'의 중요성이 강조되며, AI가 특정 작업을 수행할 때의 한계와 문제점에 대한 논의가 이어진다. AI 시스템의 신뢰성과 정확성에 대한 우려가 제기되며, AI의 발전 방향에 대한 질문이 포함되어 있다.
저커버그의 개인 초지능 개발 계획과 AI 접근 방식
저커버그는 2026년 6월 23일에 개인 초지능(personal superintelligence) 개발을 목표로 하고 있으며, AI 모델을 개선하기 위해 다양한 AI 툴을 활용하고 있다. 또한, AI의 윤리적 사용과 관련된 문제를 해결하기 위해 노력하고 있으며, AI의 발전이 인류에 미치는 영향을 고려하고 있다.
Neo Labs와 AI의 수학 및 과학 한계
2026년 6월 30일, Paul Erdős의 Nature 기사에서는 OpenAI와 같은 자금이 풍부한 AI 연구소들이 과학 발전에 기여할 수 있는지를 탐구한다. Neo Labs라는 새로운 AI 스타트업들이 AI 연구를 가속화하고 있으며, 이들은 Anthropic, OpenAI, DeepMind, Google Brain 출신의 엘리트 연구자들에 의해 설립되었다. 최근 12개월 동안 생성적 AI 경제는 1,100억 달러의 매출을 기록했으며, 연간 매출 전망은 1,750억 달러를 초과한다. Mirendil과 같은 Neo Lab들은 실제 AI 연구자의 작업을 수행할 수 있는 '자기 가속화' AI를 개발하고 있다.
Anthropic의 Mythos, 사이버 보안 공격에 사용되고 IPO 준비 중
Anthropic은 새로운 LLM인 Mythos의 접근을 확대하고 있으며, 미국 국방부가 이를 사이버 보안 공격에 사용하는 것으로 보도되었다. Mythos는 자가 개선 AI 모델인 RSI의 첫 번째 모델로 여겨질 수 있으며, Anthropic은 유럽연합 및 15개국의 150개 파트너에게 Mythos를 제공할 예정이다. Anthropic은 SEC에 IPO 서류를 비공식적으로 제출했으며, 미국 정부는 주요 AI 기업에 대한 지분 매입 가능성을 논의 중이다. 이와 관련하여 Anthropic은 국가 안보 위험으로 지정된 상태이다.
Anthropic, OpenAI보다 먼저 비공식 IPO 제출
Anthropic이 비공식 IPO 제출을 통해 OpenAI보다 먼저 AI 역사상 가장 큰 IPO를 가속화할 것으로 보인다. 2023년 9월 또는 10월에 이루어질 예정이다. AI 스타트업들은 자금 집중으로 인해 어려움을 겪고 있으며, PitchBook 데이터에 따르면 미국의 857개 유니콘 스타트업 중 절반이 최근 3년간 자금을 조달하지 못했다. AI는 기존 스타트업에 큰 영향을 미치고 있으며, 2021년에 마지막으로 자금을 조달한 스타트업은 평균 68% 가치가 하락했다.
중국, 향후 5년간 2조 위안 AI 데이터 센터 구축 계획
중국은 향후 5년간 2조 위안(약 2954억 달러)을 AI 데이터 센터 구축에 투자할 계획이다. 이는 미국과의 AI 경쟁에서 우위를 점하기 위한 전략으로, 국가발전개혁위원회(NDRC)가 분산된 컴퓨팅 시설을 통합하는 국가 네트워크 구축을 주도할 예정이다. 또한, DeepSeek는 최근 70억 달러의 자금을 확보했다.
RL-파인튜닝된 VLM의 강건성과 사고 일관성
강화 학습(RL) 파인튜닝은 추론 집약적 작업에서 대형 언어 모델(LLM)을 향상시키기 위한 주요 기술로, 비전 언어 모델(VLM)로의 확장이 필요하다. RL로 조정된 VLM은 시각적 추론 벤치마크에서 개선되지만, 약한 시각적 기초, 환각, 텍스트 단서에 대한 과도한 의존성에 취약하다. 간단한 텍스트 교란, 즉 오해를 불러일으키는 캡션이나 잘못된 사고 과정(Chain-of-Thought, CoT) 추적이 강건성과 신뢰도에 상당한 하락을 초래하며, 이러한 효과는 CoT 일관성이 낮을 때 더욱 두드러진다.
회귀 기반의 최대 내적 검색(MIPS) 예측 방법 제안
최대 내적 검색(MIPS)은 데이터베이스에서 주어진 쿼리에 가장 잘 맞는 벡터를 찾는 중요한 서브루틴이다. 본 연구에서는 회귀 기반 접근법인 아모타이즈드 MIPS를 제안하며, 이는 신경망을 훈련시켜 MIPS 솔루션을 직접 예측하도록 한다. 이 방법은 고정된 키 데이터베이스에서 알려진 분포로부터 추출된 쿼리에 대해 MIPS를 반복적으로 해결하는 비용을 절감하는 데 초점을 맞춘다. MIPS 값 함수는 키 집합의 서포트 함수로, 이 함수의 기울기는 최적의 키를 제공한다.