AI 뉴스

Stability AI와 EA의 전략적 파트너십으로 게임 개발 혁신

Stability AI와 Electronic Arts(EA)는 게임 개발을 재구성하기 위한 전략적 파트너십을 체결했다. 이 협력은 EA의 아티스트, 디자이너, 개발자들이 게임 제작 방식을 재상상할 수 있도록 지원하며, 빠른 반복, 워크플로우 가속화, 창의적 가능성을 확장하는 데 기여할 예정이다. 두 회사는 Physically Based Rendering(PBR) 재료의 생성 가속화와 AI 시스템을 통한 3D 환경의 사전 시각화를 포함한 여러 공동 이니셔티브를 추진하고 있다.

[설명] OWASP LLM Top 10, 1순위 프롬프트 인젝션과 신규 위협 두 가지

OWASP가 정리한 LLM 애플리케이션 보안 위험 목록에서 프롬프트 인젝션(LLM01)은 여전히 1순위다. 2025년 정의는 직접(direct)과 간접(indirect) 인젝션을 모두 포함하도록 확장됐다. 직접 인젝션은 사용자 입력이 모델 동작을 직접 바꾸는 경우이고, 간접 인젝션은 웹페이지·문서 같은 외부 소스에서 받은 입력이 의도치 않은 결과를 유발하는 경우다. 도구가 애플리케이션에 연결돼 있으면 인젝션이 연결 시스템에서 임의 명령 실행으로 번질 수 있어 위험도가 크다. 성공 시 민감 데이터·인프라 정보 노출, 무단 접근, 모델 의사결정 조작으로 이어진다. 2025 목록에는 '시스템 프롬프트 유출(system prompt leakage)'과 '벡터·임베딩 취약점(vector and embedding weaknesses)' 두 항목이 신규 진입했고, 다섯 항목이 현재 위협을 반영해 개명·확장됐다. RAG와 도구 호출이 늘수록 간접 인젝션 대비가 필수다.

RAG·도구 호출형 LLM 앱을 만드는 개발자에게 입력 신뢰 경계 설정과 시스템 프롬프트 보호는 선택이 아니라 기본 방어선이다.

장시간 에이전트의 핵심: 내구 실행과 체크포인트

에이전트를 단순 for 루프로 돌리면 중간에 프로세스가 죽거나 API가 끊겼을 때 처음부터 다시 시작해야 한다. 장시간·상태 유지 에이전트를 안정적으로 운영하려면 내구 실행(durable execution) 개념이 필요하다. 핵심은 체크포인트다. 각 단계의 상태를 저장해 두면 장애가 나도 정확히 멈춘 지점부터 자동으로 이어서 재개할 수 있다. 여기에 사람 승인을 끼우는 human-in-the-loop, 영속 메모리, 스트리밍, 실패 시 자동 재시도와 복구가 더해지면 프로덕션급 에이전트의 기본기가 갖춰진다. 이런 패턴을 일급 기능으로 제공하는 대표 프레임워크가 LangGraph로, 그래프 기반 오케스트레이션에서 각 노드가 에이전트 단계를 맡고 엣지가 흐름을 정의한다. 타임트래블 디버깅과 상태 편집을 지원하는 스튜디오, 크론 스케줄링·체크포인트·재시도를 다루는 API도 제공한다. 더 강한 실행 보증이 필요하면 Temporal 같은 워크플로 엔진과 결합하는 선택지도 있다.

Sutton의 LLM 비판과 동물 학습 방식

Andrej Karpathy의 블로그에서 Sutton은 LLM이 'bitter lesson pilled'하지 않다고 주장하며, LLM이 인간 데이터에 의존하고 있어 인간 편향을 피할 수 없다고 지적한다. Sutton은 '고전주의자'로서 경험을 통해 학습하는 시스템을 강조하며, 동물의 학습 방식과 LLM의 차이를 설명한다. 그는 LLM이 인간의 감독 없이 학습하는 방식을 결여하고 있다고 비판하며, 강화 학습을 통한 상호작용이 중요하다고 주장한다.

이 논의는 LLM 개발에 있어 인간 편향을 최소화하고 동물의 학습 방식을 고려하는 접근 방식의 필요성을 강조한다.

AI Evals 도구 선택 시 고려사항과 평가 방법

AI Evals 도구 선택에 있어 가장 중요한 것은 도구 자체보다 팀의 기술 스택과 성숙도에 맞는 프로세스임. Langsmith, Braintrust, Arize Phoenix의 세 가지 도구를 동일한 과제로 평가하며, 각 도구의 워크플로우, 인간 중심 지원, 투명성, 생태계 통합 등을 분석함. 평가 기준으로는 작업 흐름과 개발자 경험, 인간 개입 지원, 자동화에 대한 회의적 시각, 기존 기술과의 통합 등이 강조됨.

AI Evals 도구 선택 시 팀의 요구에 맞는 평가 기준을 적용하는 것이 중요하다.

[설명] AI 엔지니어 포트폴리오, 무엇을 만들어 보여줄 것인가

2026년 채용 담당자는 자격증이 아니라 '동작하는 증거'를 본다. 이력서에는 10초도 안 쓰지만, 실행 가능한 코드나 라이브 데모가 있는 GitHub 프로젝트에는 80% 더 오래 머문다는 보고가 있다. 그래서 포트폴리오는 직무기술서에 그대로 나오는 역량을 보여줘야 한다. 첫째, 검색(RAG) 시스템 — 지저분한 데이터, 모호한 질의, 시간이 지나며 변하는 코퍼스에도 견디는 검색·평가·재검색 루프. 둘째, 자율 에이전트 애플리케이션 — 도구 호출과 휴먼인더루프를 포함한 멀티스텝 흐름. 셋째, 구조화 출력과 평가(eval) 스위트 — 결과 품질을 수치로 검증하는 테스트. 넷째, 컨테이너화된 파이프라인과 모니터링 대시보드 — 배포와 관측 가능성. 깔끔한 README로 이력서 항목과 코드 사이 추적성을 만들면 면접 콜백이 빨라진다. 강의를 다 들은 사람이 아니라 굴러가는 프로젝트를 보여줄 수 있는 사람이 뽑힌다는 것이 일관된 메시지다.

Google IO 2023에서 발표된 AI 코딩 툴 관련 내용

Google IO 2023에서 CEO가 발표한 내용에 따르면, Google의 AI 코딩 툴인 Bard는 Gemini App을 통해 제공되며, 한국어 지원이 포함되어 있다. Bard는 15개 언어를 지원하고 있으며, LLM을 기반으로 한 다양한 기능을 제공한다. 또한, PaLM 모델이 개선되어 더 나은 코드 생성이 가능해졌다. 2025년에는 AI 툴의 발전이 더욱 가속화될 것으로 예상된다.

LoRA의 파라미터 효율적 미세 조정 방법

LoRA는 기존 모델의 가중치 행렬 W를 수정된 버전 W' = W + γBA로 대체하여, 훨씬 적은 수의 파라미터로 업데이트를 표현하는 저차원 표현을 생성하는 파라미터 효율적 미세 조정(PEFT) 방법이다. LoRA는 원래 가중치를 변경하지 않고 어댑터(A와 B 행렬)를 훈련시키기 때문에, 단일 추론 서버에서 여러 어댑터를 동시에 메모리에 유지하고 샘플링할 수 있는 장점이 있다. 또한, LoRA는 더 적은 메모리를 사용하여 훈련할 수 있어 훈련의 접근성과 효율성을 높인다.

LoRA는 메모리 사용을 줄이고 훈련 속도를 높일 수 있어, 대규모 언어 모델의 미세 조정에 있어 실무에서 유용하게 활용될 수 있다.

신경망의 가중치 행렬 제약을 통한 최적화 방법

신경망의 텐서 크기를 관리하기 위해 정규화가 필요하며, 이는 가중치 행렬에 덜 적용된다. EDM2 확산 모델은 가중치 제약을 사용하여 이점을 보고하였고, BiT는 가중치 표준화를 사용한다. 가중치 행렬을 정규화하면 최적화 업데이트의 상대 크기를 이해하기 쉬워지고, 하이퍼파라미터 조정 시 중요한 텐서에 집중할 수 있다. 본 포스트에서는 신경망의 가중치 행렬을 서브 매니폴드에 제약하는 방법을 제안하며, Muon 최적화 알고리즘의 매니폴드 버전을 제안한다.

가중치 행렬의 정규화를 통해 신경망의 학습 효율성을 높일 수 있는 방법을 제시한다.

Qwen3Guard: Qwen 모델의 안전성 강화

Qwen3Guard는 Qwen 모델 계열의 첫 번째 안전 가드레일 모델로, Qwen3 기초 모델을 기반으로 안전 분류를 위해 특별히 미세 조정되었다. 이 모델은 프롬프트와 응답에 대한 정확한 안전 감지를 제공하며, 위험 수준과 분류된 분류를 통해 책임 있는 AI 상호작용을 보장한다. Qwen3Guard는 주요 안전 벤치마크에서 최첨단 성능을 달성하며, 영어, 중국어 및 다국어 환경에서 프롬프트와 응답 분류 작업에서 강력한 능력을 보여준다.

에이전틱 RAG 이해하기: 검색에 '추론 루프'를 두르다

전통적 RAG는 질문을 임베딩해 한 번 검색하고 그 결과를 그대로 프롬프트에 붙이는 단방향 파이프라인이다. 문제는 검색 단계가 자주 실패한다는 데 있다. 단순 RAG 파이프라인이 검색에서 상당한 비율로 부정확한 결과를 낸다는 분석이 반복적으로 보고된다. 에이전틱 RAG는 검색 주위에 추론 루프를 두른다. 에이전트가 "정보가 충분한가? 관련 있나? 질의를 다시 짜서 재검색해야 하나?"를 스스로 판단하고, 필요하면 질의를 재구성해 여러 번 검색한다. 그래프 기반 검색, 계층적 검색 인터페이스, 병렬 검증 에이전트로 확장되는 흐름이다. 동시에 정적 지식엔 RAG가 여전히 유효하되, 적응형 어시스턴트에는 컨텍스트 메모리가 점점 더 큰 비중을 차지한다는 관측도 나온다. 한국 개발자에게는 "생성보다 검색이 병목"이라는 현실 인식과, 검색을 에이전트가 능동 제어하도록 설계하라는 실무 지침이 핵심이다.

RAG 실패의 대부분이 생성이 아닌 검색 단계에서 나온다는 점을 짚고, 검색을 에이전트가 제어하는 설계로 옮겨야 하는 이유를 설명한다.

Stability AI, Amazon Bedrock에 이미지 서비스 출시

Stability AI는 Amazon Bedrock에 이미지 서비스를 출시하여 전문적인 이미지 편집 기능을 AWS 인프라에서 제공한다. 이미지 서비스는 API 서비스로 제공되며, 세밀한 편집 제어가 가능하다. 현재 제공되는 도구로는 Inpaint, Erase Object, Remove Background, Search and Replace, Search and Recolor 등이 있으며, 이는 기존 이미지를 수정하거나 스타일을 전이하는 데 사용된다. Stability AI의 이미지 서비스는 기업들이 AWS에서 강력한 AI 도구를 활용하여 전체 생성 및 편집 워크플로우를 지원할 수 있도록 한다.

Stability AI의 연간 투명성 보고서 발표

Stability AI는 생성 AI의 책임 있는 개발과 배포를 위해 투명성을 강조하며, 안전 설계 원칙에 따라 모델 개발 및 출시 정보를 공유하는 연간 투명성 보고서를 발표했다. 이 보고서는 비디오, 이미지, 3D 및 오디오 모델을 포함하며, 2024년 4월부터 2025년 4월까지의 기간을 다룬다. Stability AI는 유해 콘텐츠 생성을 방지하기 위해 데이터셋 평가 및 위험 평가를 실시하고, 훈련 데이터에서 유해 콘텐츠를 제거하는 등의 조치를 취하고 있다. 또한, CSAM(아동 성 착취물) 관련 자료를 발견할 경우, 관련 기관에 보고하는 정책을 운영하고 있다.

LLM 추론의 비결정성 문제

대형 언어 모델(LLM)에서 재현 가능성은 과학적 진보의 기반이지만, 재현 가능한 결과를 얻기 어렵다. 예를 들어, ChatGPT에 동일한 질문을 여러 번 하면 다른 결과가 나올 수 있다. 온도를 0으로 조정해도 LLM API는 여전히 실제로 비결정적이다. 비결정성의 한 가설은 부동 소수점 비결정성과 동시 실행의 조합이 원인이라는 것이다. 그러나 동일한 행렬 곱셈을 반복적으로 실행할 경우 결과가 항상 동일하다는 점에서 이 가설은 완전한 설명이 아니다.

비결정성 문제를 이해하는 것은 LLM을 사용하는 개발자들이 예측 가능한 결과를 얻기 위해 필요한 조치를 취하는 데 중요하다.

AI as Normal Technology의 후속 논의와 2027년 전망

AI as Normal Technology의 영향력이 예상보다 컸으며, 이에 따라 저자들은 AI의 중기적 미래와 사회적 영향에 대한 분석을 강화하기로 했다. 이들은 2026년 말까지 책을 완성할 계획이며, AI의 사회적 영향은 기술 발전보다 예측하기 어렵다는 점을 강조하고 있다. 또한, AI의 이점과 위험은 개발이 아닌 배포 단계에서 실현된다고 설명하며, 정책 결정자들은 예측이 아닌 적응력을 갖춰야 한다고 주장하고 있다.

AI의 사회적 영향을 이해하고 적절히 대응하기 위한 정책적 접근 방식이 필요하다.

Antifragile 개념을 통한 선택지의 중요성

Antifragile 개념은 선택지의 중요성을 강조하며, 무한한 상승 가능성과 제한된 하락 가능성을 가진 전략이 필요하다고 설명합니다. 또한, NLP 분야에서의 발전과 관련하여, 실질적인 적용을 위해 다양한 접근 방식을 모색해야 한다고 언급합니다.

MCP, Linux Foundation 산하 거버넌스로 이전하며 에이전트 연결 표준으로 굳어지다

Anthropic이 2024년 11월 오픈소스로 공개한 Model Context Protocol(MCP)이 2025년 12월 Linux Foundation 산하 신설 Agentic AI Foundation(AAIF)으로 기부되며 중립적 거버넌스로 이전했다. AAIF는 Anthropic·Block·OpenAI가 공동 설립했고 Google, Microsoft, AWS, Cloudflare가 지원한다. OpenAI(2025년 4월), Microsoft(7월), AWS(11월)가 차례로 채택하면서 SDK 다운로드가 월 수천만 건 규모로 늘었고, 2026년 3월 기준 Anthropic은 1만 개 이상의 공개 MCP 서버가 활성 상태라고 밝혔다. 한 조사에서는 소프트웨어 조직의 약 41%가 MCP 서버를 제한적 또는 광범위 프로덕션에 투입 중이다. 2026 로드맵은 전송 계층 확장성, 에이전트 통신 정교화, 성숙한 거버넌스, 엔터프라이즈급 확장에 무게를 둔다.

에이전트가 도구·데이터에 연결되는 방식의 사실상 표준이 단일 벤더에서 중립 재단으로 넘어가, MCP에 투자하는 개발 결정의 장기 안정성이 높아졌다.

FilBench: 필리핀어 LLM 평가를 위한 오픈 평가 스위트 소개

FilBench는 필리핀어 LLM의 능력을 평가하기 위한 벤치마크이자 리더보드로, 필리핀 언어의 LLM 개발 진행 상황을 추적할 수 있다. FilBench는 문화적 지식, 고전 NLP, 독해, 생성의 네 가지 주요 카테고리로 구성된 데이터셋을 기반으로 한다. 이 프로젝트는 EMNLP Main에 수락되었으며, 2023년 11월 중국 수저우에서 발표될 예정이다. FilBench는 HuggingFace의 lighteval 평가 프레임워크를 사용하고 있으며, 향후 필리핀의 주요 지역 언어를 포함하는 방향으로 발전할 계획이다.

FilBench는 필리핀어 NLP 연구자와 언어 모델 개발자에게 필리핀어 LLM의 성능을 체계적으로 평가할 수 있는 도구를 제공한다.

OpenAI의 GPT-OSS 출시 및 주요 특징

OpenAI는 GPT-OSS를 출시했으며, 이는 GPT-2 이후 6년 만의 주요 오픈 소스 LLM 릴리스이다. GPT-OSS는 기존의 오픈 모델들과 비교할 때 능력의 큰 도약은 아니지만, LLM의 발전을 되짚어볼 기회를 제공한다. GPT-OSS는 혼합 전문가 모델로, 입력 및 출력 메시지 형식이 다양하며, 사용자, 앱 빌더, 모델 후처리 사용자 등 세 가지 주요 사용자 유형에 맞춘 메시지 채널을 지원한다. 이 모델은 문제 해결 및 코딩 능력이 향상되었으며, 사용자는 추론 모드를 설정할 수 있다.

Qwen-Image-Edit: Qwen-Image 기반 이미지 편집 기능

Qwen-Image-Edit는 20B Qwen-Image 모델을 기반으로 하여 이미지 편집 작업에 Qwen-Image의 텍스트 렌더링 기능을 확장한 제품이다. 이 모델은 입력 이미지를 Qwen2.5-VL(시각적 의미 제어)과 VAE Encoder(시각적 외관 제어)에 동시에 입력하여 의미와 외관 편집 기능을 제공한다.

Qwen-Image-Edit는 이미지 편집 작업에서 텍스트 편집의 정확성을 높이고, 시각적 요소를 동시에 제어할 수 있는 기능을 제공하여 개발자들이 다양한 이미지 편집 애플리케이션을 구현하는 데 유용하다.

Claude API 프롬프트 캐싱 워크스페이스 격리 전환, 반복 컨텍스트 비용 최대 90% 절감

Anthropic의 Claude API 프롬프트 캐싱이 2026년 2월부터 조직 단위가 아닌 워크스페이스 단위 격리로 바뀌었다. 같은 조직 안에서도 워크스페이스 간 캐시가 분리돼 데이터 경계가 명확해진다. 캐시 읽기 비용은 표준 입력가의 10% 수준이라 동일 컨텍스트를 반복 주입할 때 최대 90%를 아낄 수 있고, 기본 5분 TTL 외에 추가 비용으로 1시간 캐시도 선택할 수 있다. 긴 시스템 프롬프트, 도구 정의, RAG로 끌어온 문서 블록처럼 매 호출 동일하게 들어가는 앞부분에 cache breakpoint를 두는 것이 핵심 패턴이다. 여기에 Batch API(입·출력 50% 할인), 모델 라우팅, 컨텍스트 편집(오래된 도구 결과·thinking 블록 정리)을 결합하면 에이전트 워크로드의 토큰 비용 구조를 크게 바꿀 수 있다. 한국 팀이 다회전 대화형 서비스를 운영한다면 캐시 적중률을 KPI로 잡을 만하다.

에이전트와 RAG 서비스의 운영비 대부분이 반복 입력 토큰에서 나오므로, 캐싱 설계가 곧 마진과 직결된다.

Qwen-Image: 20B MMDiT 이미지 모델의 텍스트 렌더링 기능

Qwen-Image는 20B MMDiT 이미지 기반 모델로, 복잡한 텍스트 렌더링과 정밀한 이미지 편집에서 중요한 발전을 이루었다. 이 모델은 다중 행 레이아웃, 문단 수준의 의미, 세밀한 디테일을 포함한 복잡한 텍스트 렌더링에 뛰어난 성능을 보인다. 알파벳 언어를 지원하며, 최신 모델을 사용해 보려면 Qwen Chat에서 'Image Generation'을 선택하면 된다.

Qwen-Image의 고급 텍스트 렌더링 기능은 이미지 생성 및 편집 작업에서 더 높은 품질의 결과물을 제공할 수 있는 가능성을 열어준다.

Hermesundefinedtool-use 포맷, XML 태그로 함수 호출과 추론을 분리한다

Hermesundefined모델은 tool-use를 XML 태그 포맷으로 표현한다. 시스템 프롬프트에서 JSON function 스키마를 <tools>...</tools>로 선언하면, 모델은 <tool_call>{...}</tool_call>로 호출하고 결과는 <tool_response>로 피드백한다. 하이브리드 추론은 <think>...</think> 세그먼트로 사고를 방출하며 챗 템플릿의 thinking=True나 시스템 프롬프트로 토글한다. 서빙 시 vLLM은 --tool-call-parser hermes를, SGLang은 qwen25 파서를 쓴다. 405B와 70B는 Meta-Llama-3.1 기반(라이선스 llama3), 14B는 Qwen3-14B 기반(apache-2.0)이며 권장 샘플링은 temperature 0.6, top_p 0.95, top_k 20이다.

tool-use와 추론을 별도 태그로 명시적으로 분리하면 파싱이 단순해지고, 추론 토글로 응답 지연과 비용을 작업 난이도에 맞춰 조절할 수 있다. vLLM·SGLang 파서가 정해져 있어 자체 서빙 시 시행착오를 줄인다. 다만 14B(apache-2.0)와 상위 모델(llama3)의 라이선스가 달라, 상업 배포 전 라이선스 확인이 필요하다.

ACL 2025에서 발표된 연구와 프로젝트

ACL 2025 Conference에서 발표된 연구로는 네 가지 논문이 있다. 첫 번째는 'Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback'로, 인간과 언어 모델(LM) 간의 피드백을 위한 하이브리드 라우터(HyPER)를 학습하는 내용을 다룬다. 두 번째는 'M-RewardBench: Evaluating Reward Models in Multilingual Settings'로, 23개 언어에서 보상 모델(RM)을 평가하기 위한 새로운 벤치마크를 소개한다. 세 번째는 'The UD-NewsCrawl Treebank: Reflections and Challenges from a Large-scale Tagalog Syntactic Annotation Project'로, 가장 큰 타갈로그 트리뱅크를 소개하며, 보편적 의존성 프레임워크의 한계를 도전한다. 마지막으로 'Crowdsource, Crawl, or Generate? Creating SEA-VL, a Multicultural Vision-Language Dataset for Southeast Asia'는 동남아시아 언어를 위한 고품질 데이터 개발을 위한 대규모 오픈소스 프로젝트 SEA-VL을 발표한다.

이 연구들은 다국어 및 문화적 맥락에서의 자연어 처리 모델 개발에 중요한 기초 자료를 제공한다.