AI 뉴스

Warner Music Group과 Stability AI, 음악 창작을 위한 책임 있는 AI 도구 개발 협력

2025년 11월 19일, Warner Music Group(WMG)과 Stability AI는 음악 창작에서 책임 있는 AI 사용을 증진하기 위한 협력 관계를 발표했다. 이들은 아티스트와 작곡가가 윤리적으로 훈련된 모델을 사용하여 실험하고 작곡할 수 있는 전문 도구를 개발할 예정이다. Stability AI의 Stable Audio 모델은 상업적으로 안전한 생성 오디오를 위해 라이센스된 데이터로만 훈련되었다. WMG는 70개국 이상에서 활동하며, Warner Chappell Music은 100만 개 이상의 저작권을 보유하고 있다.

AI의 새로운 프로그래밍 패러다임: 검증 가능성의 중요성

AI는 새로운 컴퓨팅 패러다임으로, 목표를 명시하고 경량 경량화 기법을 통해 신경망을 최적화하는 방식으로 프로그램을 작성할 수 있다. 이 새로운 패러다임에서 가장 중요한 특성은 검증 가능성으로, 검증 가능한 작업은 강화 학습을 통해 직접 최적화할 수 있다. 검증 가능성이 높은 작업은 자동화에 더 적합하며, 수학, 코드 작성, 퍼즐과 같은 작업은 빠르게 발전하는 반면, 창의적이고 전략적인 작업은 상대적으로 뒤처진다.

소형 모델은 대형 모델 양자화 레시피가 안 통한다: SLMQuant 벤치마크

온디바이스·엣지 배포가 늘면서 소형 언어모델(SLM)의 양자화가 핵심 과제가 됐는데, arXiv에 공개된 SLMQuant 논문은 흔한 가정 하나를 정면으로 반박한다. LLM에서 검증된 양자화 기법을 SLM에 그대로 옮기면 결과가 최적이 아니라는 것이다. 저자들은 SLM과 LLM이 양자화 민감도에서 근본적으로 다르다는 점을 보이고, SLM 압축 기법을 체계적으로 평가하는 첫 벤치마크를 제시했다. SLM은 고유한 구조적 특성과 학습 동역학 때문에 LLM 최적화 전략을 직접 이식하면 정확도 손실이 크다. 모바일 NPU 성능이 빠르게 오르며 4비트·8비트 양자화로 실시간 멀티모달 추론을 노리는 한국 개발자에게, 이 연구는 "대형 모델용 4비트 레시피를 작은 모델에 복붙하지 말라"는 실무 경고이자, SLM 전용 압축 설계 원칙의 출발점을 제공한다.

온디바이스 SLM 배포 시 LLM 양자화 기법을 그대로 쓰면 품질이 무너질 수 있다는 점을 실증해, 모바일·엣지 추론 설계의 가정을 바로잡는다.

AI 코딩 툴 사용 원칙과 Quadrants 모델

AI 코딩 툴을 사용할 때의 원칙으로, 특정 Quadrants 모델을 제시하고 있습니다. 이 모델은 4개의 구역으로 나뉘며, 각 구역은 다음과 같습니다: 1) High Impact Zone, 2) High Danger Zone, 3) Full Fun Vibe Coding Zone, 4) 'Parents at the party' Vibe Coding Zone. 각 구역은 코딩의 위험도와 재미를 기준으로 분류되며, AI 툴 사용 시 주의해야 할 점을 강조합니다.

NeurIPS 2025 연구 논문 시각화 및 주요 주제

NeurIPS 2025의 연구 논문이 발표되었으며, 이를 탐색할 수 있는 인터랙티브 시각화가 제공된다. 이 시각화는 Cohere의 생성 및 임베딩 모델을 활용하여 대규모 텍스트 아카이브를 탐색하며, 주요 주제로는 LLMs, 멀티모달리티, 강화 학습이 있다. 약 28%의 논문이 멀티모달리티를 주요 초점으로 하고, 13%는 강화 학습에 중점을 두고 있다. 또한, 약 766개의 논문이 추론을 핵심 주제로 다루고 있다.

Universal Music Group과 Stability AI, AI 음악 제작 도구 공동 개발 협력 발표

Universal Music Group(UMG)과 Stability AI는 2025년 10월 30일, 아티스트 중심의 AI 음악 제작 도구를 공동 개발하기 위한 전략적 제휴를 발표했다. 이 협력은 아티스트와 제작자의 요구를 반영하여 상업적으로 안전한 AI 음악 도구를 개발하는 데 중점을 두며, Stability AI의 연구팀이 UMG와 협력하여 새로운 녹음 및 작곡 개념을 탐색할 예정이다. UMG는 AI 혁신을 선도하며, 책임감 있게 훈련된 AI 기술을 통해 아티스트와 팬 간의 연결을 강화하고 있다.

2023년 케임브리지 대학교에서 컴퓨테이션, 인지 및 언어 박사 과정 시작

2021년에 박사 과정을 시작하기로 결심한 후, 4년간의 여정을 거쳐 2023년 가을에 케임브리지 대학교에서 컴퓨테이션, 인지 및 언어 박사 과정을 시작했다. 이 과정에서 NLP 연구와 관련된 여러 경험을 쌓았고, 미국과 캐나다의 대학에도 합격했다. 박사 지원 과정은 점점 더 경쟁이 치열해지고 있으며, 특히 머신러닝과 NLP 분야에서 많은 지원자들이 첫 저자 논문을 보유하고 있다.

On-Policy Distillation의 훈련 접근법

LLM은 입력 인식, 지식 검색, 계획 선택, 실행 능력 등 여러 기능을 결합하여 전문적인 성능을 발휘한다. 훈련 접근법은 크게 세 단계로 나뉜다: Pre-training, Mid-training, Post-training. Post-training에서는 On-policy training과 Off-policy training으로 나뉘며, On-policy training은 학생 모델의 샘플을 사용하고 Off-policy training은 외부 출처의 목표 출력을 모방한다. Off-policy training에서는 teacher 모델의 출력을 맞추는 distillation 기법을 사용할 수 있다.

Stability AI와 EA의 전략적 파트너십으로 게임 개발 혁신

Stability AI와 Electronic Arts(EA)는 게임 개발을 재구성하기 위한 전략적 파트너십을 체결했다. 이 협력은 EA의 아티스트, 디자이너, 개발자들이 게임 제작 방식을 재상상할 수 있도록 지원하며, 빠른 반복, 워크플로우 가속화, 창의적 가능성을 확장하는 데 기여할 예정이다. 두 회사는 Physically Based Rendering(PBR) 재료의 생성 가속화와 AI 시스템을 통한 3D 환경의 사전 시각화를 포함한 여러 공동 이니셔티브를 추진하고 있다.

[설명] OWASP LLM Top 10, 1순위 프롬프트 인젝션과 신규 위협 두 가지

OWASP가 정리한 LLM 애플리케이션 보안 위험 목록에서 프롬프트 인젝션(LLM01)은 여전히 1순위다. 2025년 정의는 직접(direct)과 간접(indirect) 인젝션을 모두 포함하도록 확장됐다. 직접 인젝션은 사용자 입력이 모델 동작을 직접 바꾸는 경우이고, 간접 인젝션은 웹페이지·문서 같은 외부 소스에서 받은 입력이 의도치 않은 결과를 유발하는 경우다. 도구가 애플리케이션에 연결돼 있으면 인젝션이 연결 시스템에서 임의 명령 실행으로 번질 수 있어 위험도가 크다. 성공 시 민감 데이터·인프라 정보 노출, 무단 접근, 모델 의사결정 조작으로 이어진다. 2025 목록에는 '시스템 프롬프트 유출(system prompt leakage)'과 '벡터·임베딩 취약점(vector and embedding weaknesses)' 두 항목이 신규 진입했고, 다섯 항목이 현재 위협을 반영해 개명·확장됐다. RAG와 도구 호출이 늘수록 간접 인젝션 대비가 필수다.

RAG·도구 호출형 LLM 앱을 만드는 개발자에게 입력 신뢰 경계 설정과 시스템 프롬프트 보호는 선택이 아니라 기본 방어선이다.

장시간 에이전트의 핵심: 내구 실행과 체크포인트

에이전트를 단순 for 루프로 돌리면 중간에 프로세스가 죽거나 API가 끊겼을 때 처음부터 다시 시작해야 한다. 장시간·상태 유지 에이전트를 안정적으로 운영하려면 내구 실행(durable execution) 개념이 필요하다. 핵심은 체크포인트다. 각 단계의 상태를 저장해 두면 장애가 나도 정확히 멈춘 지점부터 자동으로 이어서 재개할 수 있다. 여기에 사람 승인을 끼우는 human-in-the-loop, 영속 메모리, 스트리밍, 실패 시 자동 재시도와 복구가 더해지면 프로덕션급 에이전트의 기본기가 갖춰진다. 이런 패턴을 일급 기능으로 제공하는 대표 프레임워크가 LangGraph로, 그래프 기반 오케스트레이션에서 각 노드가 에이전트 단계를 맡고 엣지가 흐름을 정의한다. 타임트래블 디버깅과 상태 편집을 지원하는 스튜디오, 크론 스케줄링·체크포인트·재시도를 다루는 API도 제공한다. 더 강한 실행 보증이 필요하면 Temporal 같은 워크플로 엔진과 결합하는 선택지도 있다.

Sutton의 LLM 비판과 동물 학습 방식

Andrej Karpathy의 블로그에서 Sutton은 LLM이 'bitter lesson pilled'하지 않다고 주장하며, LLM이 인간 데이터에 의존하고 있어 인간 편향을 피할 수 없다고 지적한다. Sutton은 '고전주의자'로서 경험을 통해 학습하는 시스템을 강조하며, 동물의 학습 방식과 LLM의 차이를 설명한다. 그는 LLM이 인간의 감독 없이 학습하는 방식을 결여하고 있다고 비판하며, 강화 학습을 통한 상호작용이 중요하다고 주장한다.

이 논의는 LLM 개발에 있어 인간 편향을 최소화하고 동물의 학습 방식을 고려하는 접근 방식의 필요성을 강조한다.

AI Evals 도구 선택 시 고려사항과 평가 방법

AI Evals 도구 선택에 있어 가장 중요한 것은 도구 자체보다 팀의 기술 스택과 성숙도에 맞는 프로세스임. Langsmith, Braintrust, Arize Phoenix의 세 가지 도구를 동일한 과제로 평가하며, 각 도구의 워크플로우, 인간 중심 지원, 투명성, 생태계 통합 등을 분석함. 평가 기준으로는 작업 흐름과 개발자 경험, 인간 개입 지원, 자동화에 대한 회의적 시각, 기존 기술과의 통합 등이 강조됨.

AI Evals 도구 선택 시 팀의 요구에 맞는 평가 기준을 적용하는 것이 중요하다.

[설명] AI 엔지니어 포트폴리오, 무엇을 만들어 보여줄 것인가

2026년 채용 담당자는 자격증이 아니라 '동작하는 증거'를 본다. 이력서에는 10초도 안 쓰지만, 실행 가능한 코드나 라이브 데모가 있는 GitHub 프로젝트에는 80% 더 오래 머문다는 보고가 있다. 그래서 포트폴리오는 직무기술서에 그대로 나오는 역량을 보여줘야 한다. 첫째, 검색(RAG) 시스템 — 지저분한 데이터, 모호한 질의, 시간이 지나며 변하는 코퍼스에도 견디는 검색·평가·재검색 루프. 둘째, 자율 에이전트 애플리케이션 — 도구 호출과 휴먼인더루프를 포함한 멀티스텝 흐름. 셋째, 구조화 출력과 평가(eval) 스위트 — 결과 품질을 수치로 검증하는 테스트. 넷째, 컨테이너화된 파이프라인과 모니터링 대시보드 — 배포와 관측 가능성. 깔끔한 README로 이력서 항목과 코드 사이 추적성을 만들면 면접 콜백이 빨라진다. 강의를 다 들은 사람이 아니라 굴러가는 프로젝트를 보여줄 수 있는 사람이 뽑힌다는 것이 일관된 메시지다.

Google IO 2023에서 발표된 AI 코딩 툴 관련 내용

Google IO 2023에서 CEO가 발표한 내용에 따르면, Google의 AI 코딩 툴인 Bard는 Gemini App을 통해 제공되며, 한국어 지원이 포함되어 있다. Bard는 15개 언어를 지원하고 있으며, LLM을 기반으로 한 다양한 기능을 제공한다. 또한, PaLM 모델이 개선되어 더 나은 코드 생성이 가능해졌다. 2025년에는 AI 툴의 발전이 더욱 가속화될 것으로 예상된다.

LoRA의 파라미터 효율적 미세 조정 방법

LoRA는 기존 모델의 가중치 행렬 W를 수정된 버전 W' = W + γBA로 대체하여, 훨씬 적은 수의 파라미터로 업데이트를 표현하는 저차원 표현을 생성하는 파라미터 효율적 미세 조정(PEFT) 방법이다. LoRA는 원래 가중치를 변경하지 않고 어댑터(A와 B 행렬)를 훈련시키기 때문에, 단일 추론 서버에서 여러 어댑터를 동시에 메모리에 유지하고 샘플링할 수 있는 장점이 있다. 또한, LoRA는 더 적은 메모리를 사용하여 훈련할 수 있어 훈련의 접근성과 효율성을 높인다.

LoRA는 메모리 사용을 줄이고 훈련 속도를 높일 수 있어, 대규모 언어 모델의 미세 조정에 있어 실무에서 유용하게 활용될 수 있다.

신경망의 가중치 행렬 제약을 통한 최적화 방법

신경망의 텐서 크기를 관리하기 위해 정규화가 필요하며, 이는 가중치 행렬에 덜 적용된다. EDM2 확산 모델은 가중치 제약을 사용하여 이점을 보고하였고, BiT는 가중치 표준화를 사용한다. 가중치 행렬을 정규화하면 최적화 업데이트의 상대 크기를 이해하기 쉬워지고, 하이퍼파라미터 조정 시 중요한 텐서에 집중할 수 있다. 본 포스트에서는 신경망의 가중치 행렬을 서브 매니폴드에 제약하는 방법을 제안하며, Muon 최적화 알고리즘의 매니폴드 버전을 제안한다.

가중치 행렬의 정규화를 통해 신경망의 학습 효율성을 높일 수 있는 방법을 제시한다.

Qwen3Guard: Qwen 모델의 안전성 강화

Qwen3Guard는 Qwen 모델 계열의 첫 번째 안전 가드레일 모델로, Qwen3 기초 모델을 기반으로 안전 분류를 위해 특별히 미세 조정되었다. 이 모델은 프롬프트와 응답에 대한 정확한 안전 감지를 제공하며, 위험 수준과 분류된 분류를 통해 책임 있는 AI 상호작용을 보장한다. Qwen3Guard는 주요 안전 벤치마크에서 최첨단 성능을 달성하며, 영어, 중국어 및 다국어 환경에서 프롬프트와 응답 분류 작업에서 강력한 능력을 보여준다.

에이전틱 RAG 이해하기: 검색에 '추론 루프'를 두르다

전통적 RAG는 질문을 임베딩해 한 번 검색하고 그 결과를 그대로 프롬프트에 붙이는 단방향 파이프라인이다. 문제는 검색 단계가 자주 실패한다는 데 있다. 단순 RAG 파이프라인이 검색에서 상당한 비율로 부정확한 결과를 낸다는 분석이 반복적으로 보고된다. 에이전틱 RAG는 검색 주위에 추론 루프를 두른다. 에이전트가 "정보가 충분한가? 관련 있나? 질의를 다시 짜서 재검색해야 하나?"를 스스로 판단하고, 필요하면 질의를 재구성해 여러 번 검색한다. 그래프 기반 검색, 계층적 검색 인터페이스, 병렬 검증 에이전트로 확장되는 흐름이다. 동시에 정적 지식엔 RAG가 여전히 유효하되, 적응형 어시스턴트에는 컨텍스트 메모리가 점점 더 큰 비중을 차지한다는 관측도 나온다. 한국 개발자에게는 "생성보다 검색이 병목"이라는 현실 인식과, 검색을 에이전트가 능동 제어하도록 설계하라는 실무 지침이 핵심이다.

RAG 실패의 대부분이 생성이 아닌 검색 단계에서 나온다는 점을 짚고, 검색을 에이전트가 제어하는 설계로 옮겨야 하는 이유를 설명한다.

Stability AI, Amazon Bedrock에 이미지 서비스 출시

Stability AI는 Amazon Bedrock에 이미지 서비스를 출시하여 전문적인 이미지 편집 기능을 AWS 인프라에서 제공한다. 이미지 서비스는 API 서비스로 제공되며, 세밀한 편집 제어가 가능하다. 현재 제공되는 도구로는 Inpaint, Erase Object, Remove Background, Search and Replace, Search and Recolor 등이 있으며, 이는 기존 이미지를 수정하거나 스타일을 전이하는 데 사용된다. Stability AI의 이미지 서비스는 기업들이 AWS에서 강력한 AI 도구를 활용하여 전체 생성 및 편집 워크플로우를 지원할 수 있도록 한다.

Stability AI의 연간 투명성 보고서 발표

Stability AI는 생성 AI의 책임 있는 개발과 배포를 위해 투명성을 강조하며, 안전 설계 원칙에 따라 모델 개발 및 출시 정보를 공유하는 연간 투명성 보고서를 발표했다. 이 보고서는 비디오, 이미지, 3D 및 오디오 모델을 포함하며, 2024년 4월부터 2025년 4월까지의 기간을 다룬다. Stability AI는 유해 콘텐츠 생성을 방지하기 위해 데이터셋 평가 및 위험 평가를 실시하고, 훈련 데이터에서 유해 콘텐츠를 제거하는 등의 조치를 취하고 있다. 또한, CSAM(아동 성 착취물) 관련 자료를 발견할 경우, 관련 기관에 보고하는 정책을 운영하고 있다.

LLM 추론의 비결정성 문제

대형 언어 모델(LLM)에서 재현 가능성은 과학적 진보의 기반이지만, 재현 가능한 결과를 얻기 어렵다. 예를 들어, ChatGPT에 동일한 질문을 여러 번 하면 다른 결과가 나올 수 있다. 온도를 0으로 조정해도 LLM API는 여전히 실제로 비결정적이다. 비결정성의 한 가설은 부동 소수점 비결정성과 동시 실행의 조합이 원인이라는 것이다. 그러나 동일한 행렬 곱셈을 반복적으로 실행할 경우 결과가 항상 동일하다는 점에서 이 가설은 완전한 설명이 아니다.

비결정성 문제를 이해하는 것은 LLM을 사용하는 개발자들이 예측 가능한 결과를 얻기 위해 필요한 조치를 취하는 데 중요하다.

AI as Normal Technology의 후속 논의와 2027년 전망

AI as Normal Technology의 영향력이 예상보다 컸으며, 이에 따라 저자들은 AI의 중기적 미래와 사회적 영향에 대한 분석을 강화하기로 했다. 이들은 2026년 말까지 책을 완성할 계획이며, AI의 사회적 영향은 기술 발전보다 예측하기 어렵다는 점을 강조하고 있다. 또한, AI의 이점과 위험은 개발이 아닌 배포 단계에서 실현된다고 설명하며, 정책 결정자들은 예측이 아닌 적응력을 갖춰야 한다고 주장하고 있다.

AI의 사회적 영향을 이해하고 적절히 대응하기 위한 정책적 접근 방식이 필요하다.

Antifragile 개념을 통한 선택지의 중요성

Antifragile 개념은 선택지의 중요성을 강조하며, 무한한 상승 가능성과 제한된 하락 가능성을 가진 전략이 필요하다고 설명합니다. 또한, NLP 분야에서의 발전과 관련하여, 실질적인 적용을 위해 다양한 접근 방식을 모색해야 한다고 언급합니다.