Category
생성 이미지·영상·음성
생성 이미지·영상·음성은 텍스트나 레퍼런스로 시각·음성 결과물을 만들어내는 멀티모달 생성 영역이다. 한국 개발자·제작자에게는 콘텐츠 제작 단가를 낮추는 동시에, 저작권·라이선스·딥페이크 규제가 실무 도입의 전제 조건이 된다.
[설명] ComfyUI 노드 워크플로를 프로덕션 생성 백엔드 API로 쓰는 법
ComfyUI는 노드 기반 GUI로 알려졌지만, 그 본질은 HTTP·WebSocket 서버를 갖춘 이미지·영상 생성 백엔드라는 점이다. UI에서 만든 워크플로를 JSON으로 내보내 API로 큐잉하면, 어떤 애플리케이션이든 생성 엔진으로 ComfyUI를 호출할 수 있다. WebSocket은 실행 이벤트, 샘플러 진행률, 프리뷰 이미지, 큐 상태를 스트리밍해 작업 진행과 완료를 실시간으로 받는다. 프로덕션에서 핵심 패턴은 두 가지다. 첫째, VRAM 경쟁(thrashing)을 피하려 워크플로마다 전용 웜 워커를 두어 격리한다. 둘째, 모든 의존성과 커스텀 노드를 버전·커밋 해시로 고정해 의도하지 않은 업데이트로 결과물이 바뀌는 사고를 막는다. 텍스트→이미지→영상→업스케일을 하나의 파이프라인으로 체이닝하고 배치 자동화까지 묶을 수 있어, 생성 기능을 서비스에 내재화하려는 한국 개발팀에게 검증된 셀프호스팅 경로가 된다.
ElevenLabs Eleven v3 GA, Audio Tags로 감정 연출하는 음성 70개 언어 지원
ElevenLabs가 2026년 3월 14일 Eleven v3를 정식 출시(GA)했다(2월 알파 후 GA). 가장 큰 변화는 Audio Tags로, 대괄호로 감싼 지시어를 모델이 해석해 음성의 표현을 직접 연출한다. [excited], [whispers], [sighs] 같은 감정·발화 톤부터 [gunshot], [clapping], [explosion] 같은 사운드 이벤트까지 텍스트 안에서 디렉팅할 수 있어, 사실상 'AI 성우를 연출'하는 워크플로가 가능해졌다. 그동안 ElevenLabs의 최대 약점으로 지적되던 감정 표현 범위가 이 업데이트로 따라잡혔다는 평가다. 복잡한 텍스트 처리 오류가 68% 줄었고 70개 이상 언어를 지원한다. 다만 v3는 고충실도 코덱과 큰 모델을 쓰는 만큼 실시간 처리는 불가하며, 실시간·대화형 용도에는 여전히 Flash v2.5를 권장한다. 6월 말까지 80% 할인 프로모션이 진행됐다.
Google Veo 3.1, 네이티브 오디오와 4K로 영상 생성의 기준을 올리다
Google DeepMind의 Veo 3.1은 텍스트 프롬프트 한 번으로 영상과 사운드를 동시에 만들어낸다. 주변음, 효과음, 대사가 단일 모델 패스로 생성되고 립싱크까지 맞아 후처리 없이도 오디오·비주얼이 동기화된다는 점이 핵심이다. 2025년 10월 Veo 3.1이 공개된 뒤 2026년 1월에는 4K 해상도 출력이 더해졌고, 9:16 세로 영상도 네이티브로 지원한다. Google은 Veo를 Imagen 4와 묶어 AI 영상 제작 플랫폼 Flow로도 제공한다. 한국 개발자 입장에서는 영상+음성을 별도 파이프라인으로 합성하던 작업이 하나의 API 호출로 단순화된다는 의미다. 짧은 광고, 숏폼, 제품 데모처럼 사운드 동기화가 중요한 콘텐츠에서 제작 단가와 시간을 크게 줄일 수 있다.
이미지 생성은 한 방에 안 나온다는 전제로 파이프라인을 짜야 합니다
프롬프트 한 줄로 끝낸다는 전제 대신, 구도는 생성·톤과 텍스트는 후보정으로 분리하는 워크플로를 권합니다
FLUX.2, 포토리얼리즘·다중 레퍼런스 일관성에 klein 온디바이스까지
Black Forest Labs가 2025년 11월 FLUX.2 시리즈를 공개하며 Pro·Flex·Dev, 그리고 Apache 2.0 라이선스의 klein 모델로 라인업을 구성했고, 2026년 1월에는 소비자용 하드웨어에서 인터랙티브하게 돌아가는 경량 FLUX.2 [klein]을 추가했다. FLUX.2는 이미지 레퍼런스·포토리얼리즘·타이포그래피·프롬프트 이해에서 개선을 내세우며, 수십 장의 유사 변형을 만드는 다중 레퍼런스(multi-reference) 기능과 최대 4메가픽셀 편집을 지원한다. 아키텍처는 Mistral-3 24B 비전-언어 모델에 rectified flow transformer를 결합한 구조로, 2026 벤치마크에서 포토리얼리즘과 다중 레퍼런스 일관성 선두로 평가받는다. klein은 서브-초 단위 생성·편집과 text-to-image·image-to-image 통합 아키텍처를 제공하며, 로컬 GPU부터 클라우드 API까지 배포 선택지가 넓다. NVIDIA RTX 최적화, Cloudflare Workers AI에 FLUX.2 [dev] 탑재 등 인프라 파트너십도 확장됐다.
Nano Banana 2 공개, Gemini 이미지 모델이 속도와 일관성 동시 확보
Google이 Gemini의 네이티브 이미지 생성 라인업 'Nano Banana'를 확장했다. 2026년 2월 26일 공개된 Nano Banana 2는 Gemini 챗봇, 검색 AI 모드, Lens에 통합됐다. 라인업은 셋으로 나뉜다. 고속·대량 처리용 Nano Banana 2(Gemini 3.1 Flash Image), 전문 에셋 제작용 Nano Banana Pro(Gemini 3 Pro Image), 저지연용 기존 Nano Banana(Gemini 2.5 Flash Image)다. 강점은 피사체 일관성과 정밀한 지시 준수로, 같은 캐릭터를 여러 장면에 유지하거나 부분만 수정하는 편집형 작업에 적합하다. 5월 Google I/O에서는 Nano Banana 기반 이미지 플랫폼 Google Pics도 발표됐다. 개발자는 용도에 따라 속도(Flash)와 품질(Pro)을 골라 호출하면 되며, 마케팅 이미지·썸네일 대량 생성부터 정밀 에셋 제작까지 한 패밀리에서 처리할 수 있다.
AI 콘텐츠 출처표시 의무화, C2PA·SynthID 2단 표준과 EU AI Act 시행
AI 생성물의 출처·진위 표시가 권고에서 규제로 넘어가고 있다. 업계는 두 겹 표준으로 수렴했다. 하나는 C2PA 콘텐츠 자격증명(Content Credentials)으로, 어떤 기기·모델이 만들었는지와 적용된 편집 이력을 서명된 JSON-LD 매니페스트에 기록한다. C2PA 2.1은 2025년 비준돼 ISO/IEC 22144 표준이 됐다. 다른 하나는 SynthID 같은 비가시 워터마크다. 이 스택은 Adobe·Microsoft·OpenAI·Meta·Google과 Leica·Sony·Nikon·Canon 카메라 펌웨어가 지원한다. 규제 측면에서 캘리포니아 SB 942는 2026년 1월 1일 발효됐고, EU AI Act 제50조 집행은 2026년 8월 시작된다. 한국 개발자가 이미지·영상·음성 생성 기능을 서비스에 넣는다면, EU·미국 시장 대상 제품에서는 메타데이터 매니페스트 부착과 워터마킹을 설계 단계부터 고려해야 컴플라이언스 리스크를 피할 수 있다.
ElevenLabs v3, 오디오 태그로 AI 성우를 연출하는 시대 열어
ElevenLabs의 Eleven v3는 회사에서 가장 표현력이 풍부한 음성 모델로, 텍스트 안에 [whispers], [laughs], [excited] 같은 인라인 오디오 태그를 넣어 감정과 톤을 직접 연출할 수 있다. 70개 이상 언어를 지원하며 오디오북, 영상 내레이션, 드라마틱한 보이스오버처럼 긴 호흡의 콘텐츠에 적합하다. 함께 나온 Voice Design v3는 나이·억양·톤·음질을 텍스트로 묘사하면 수 초 만에 서로 다른 후보 음성 3종을 생성해주며, 사실적 음성용과 게임 NPC·판타지 캐릭터용 두 모드를 제공한다. 회사는 2026년 2월 5억 달러 시리즈 D를 마감해 110억 달러 가치로 평가받았고, TTS 스타트업에서 음성 에이전트·음악·더빙·실시간 전사를 아우르는 풀스택 오디오 레이어로 확장했다. 한국 개발자에게는 다국어 내레이션과 캐릭터 보이스 제작을 코드 한 줄의 태그로 제어할 수 있다는 실질적 이점이 있다.
오픈소스 영상 생성 2026 지형도, Wan·HunyuanVideo가 클로즈드 추격
2026년 오픈소스 영상 생성 모델은 자체 호스팅으로 클로즈드 모델을 추격하는 수준에 올랐다. Alibaba의 Wan 계열이 선두로, MoE(Mixture-of-Experts) 디퓨전 백본을 쓰는 Wan 2.2는 가장 시네마틱한 오픈 모델로 꼽히고, 2026년 4월의 Wan 2.7은 첫/마지막 프레임 제어, 9분할 이미지 입력, 5000자 프롬프트를 지원하며 Wan-Bench 2.0에서 선두를 차지한다. Tencent의 HunyuanVideo 1.5(2025년 11월)는 83억 파라미터로 RTX 4090 한 장에서 최대 75초 영상을 렌더링한다. 이 밖에 Lightricks의 경량 LTX-Video, Genmo의 Mochi 1, 휴먼 중심 SkyReels V1 등이 있다. 한국 개발자에게 중요한 점은 데이터 주권과 비용 통제다. API 종속이나 콘텐츠 정책 제약 없이 온프레미스·GPU 클라우드에서 영상 파이프라인을 직접 운용할 수 있고, 단일 GPU에서 돌아가는 모델이 늘어 진입 장벽도 낮아졌다.