AI 프로덕트·스타트업
AI 프로덕트·스타트업은 모델을 감싸 실제 사용자 가치를 파는 영역이다. 데모는 쉽지만 신뢰성·단가·해자 없는 래퍼라는 벽에 부딪힌다. 한국 시장에선 결제·법무·개인정보 규제까지 함께 풀어야 출시에 닿는다. 기술보다 PMF와 운영 완성도가 생존을 가른다.
NVIDIA Vera Rubin NVL72, MLPerf Inference v6.1에서 우수한 성능 기록
NVIDIA Vera Rubin NVL72는 MLPerf Inference v6.1에서 GB300 NVL72보다 최대 3.7배 높은 처리량을 기록하며 데뷔했다. 288-GPU로 구성된 GB300 NVL72는 99%의 스케일링 효율을 달성했으며, NVIDIA의 소프트웨어 최적화는 v6.0 대비 최대 1.6배 높은 성능을 제공했다. Vera Rubin NVL72는 DeepSeek-R1 및 Qwen3-VL 벤치마크에서 각각 최대 2.5배와 3.7배 높은 처리량을 보였다.
AI 네이티브 세계를 위한 CRM 재구성
a16z의 Alex Rampell과 Joe Schmidt는 Lightfield의 공동 창립자이자 CEO인 Keith Peiris와 AI 네이티브 세계를 위한 CRM 재구성에 대해 논의했다. Keith는 이전에 2,500만 사용자를 보유한 Tome을 개발했으나, 기술이 발표자와 청중 간의 관계를 충분히 포착하지 못한다고 판단하고 제품에서 물러났다. 이후 그의 팀은 AI 프레젠테이션에서 영업 워크플로우로 고객을 추적하며 회사의 이메일, 통화, CRM 등에서 분산되고 상충하는 데이터를 이해하는 문제를 발견했다. 이들은 Lightfield의 '비즈니스 세계 모델' 개념과 AI가 충분한 맥락을 가질 때 전통 소프트웨어의 경직된 스키마를 대체할 수 있다는 Keith의 신념에 대해 이야기했다.
OpenAI의 첫 AI 가속기 칩 Jalapeño 공개
2023년 8월 25일, OpenAI는 첫 AI 가속기 칩 Jalapeño를 공개했다. Jalapeño는 13.4 페타플롭의 4비트 연산 성능과 232 기가바이트의 메모리를 제공하며, 15.4 테라바이트/초의 속도로 메모리에 접근할 수 있다. OpenAI의 벤치마크에 따르면 Jalapeño는 Nvidia의 GB300과 비교해 최대 3.6배의 지연 시간을 줄일 수 있다. Jalapeño의 설계는 OpenAI의 대형 언어 모델에 의해 가속화되었으며, 초기 아키텍처 개념에서 첫 실리콘까지 20개월이 걸렸다.
Perplexity Portable Computer, NVIDIA RTX 기반으로 Windows에서 사용 가능
Perplexity Portable Computer가 NVIDIA GeForce RTX 및 RTX PRO GPU에서 사용할 수 있게 되었다. 이 프로그램은 로컬 모델을 사용하여 데이터를 분석하고 파일 간 정보를 통합하며 반복 작업을 처리할 수 있다. 사용자는 Microsoft Outlook, OneDrive, Word, Google Drive, Gmail, Slack 및 GitHub과의 연결을 통해 기존 워크플로우를 확장할 수 있으며, 예를 들어 GitHub 프로젝트의 오픈 풀 리퀘스트를 검토하고 상태별로 정리하는 등의 작업을 지원한다.
중국에서 구매한 로봇 개와의 산책
6월의 어느 맑은 아침, 한 사용자가 중국에서 구매한 사족 로봇과 함께 출근하는 모습을 보였다. 이 로봇 개는 많은 사람들의 관심을 끌었고, 여러 사람들이 사진을 찍거나 질문을 했다. 로봇 개는 생물학적 개들과의 거리 유지를 보였으며, 일부 개들은 로봇 개에게 으르렁거리거나 짖었다.
NVIDIA NVLink Fusion, 차세대 AI 인프라에 NVHBM 지원
AI 공장은 점점 더 큰 모델과 복잡한 추론 작업을 지원해야 한다. 이를 위해 하이퍼스케일러와 AI 네이티브 기업들은 맞춤형 AI 가속기(XPU)를 개발하고 있으며, 이러한 가속기를 대규모로 배포하기 위해서는 고대역폭 메모리(HBM)가 필요하다.
3k$ 128GB VRAM 및 256GB RAM DDR4 서버 구성
사용자는 128GB VRAM과 256GB RAM DDR4를 갖춘 서버를 구성했다. 주요 부품으로는 4xV620(1400$), 256GB DDR4 RDIMM 2666(610$), Huanandzhi D12D(410$), EPYC 7452(170$), PSU ASRock 1600(220$)이 포함되며, SSD는 이미 보유한 Samsung 970EVO 1TB를 사용했다. 전력 소비는 700-900W로, Qwen3.8-next-flash Autoround W4A16을 사용할 때 500-600W로 줄어든다. 이 서버는 128k+ 컨텍스트에서 MTP-2를 사용하여 1.3k prefill과 70tg 코드/60tg 프로즈를 처리할 수 있다.
Anish Acharya가 말하는 기업의 운영 변화와 AI의 역할
a16z의 General Partner Anish Acharya는 Lenny Rachitsky와의 팟캐스트에서 AI가 기업 운영 방식을 어떻게 변화시키고 있는지에 대해 논의했다. 그는 기업이 점점 더 루프 형태로 변화하고 있으며, AI 에이전트가 엔지니어링, 영업, 마케팅, 지원 등 다양한 기능의 워크플로우를 처리하고 인간은 판단과 새로운 아이디어를 제공해야 한다고 설명했다. 또한 소비자 AI는 생산성보다는 사람들의 삶을 풍요롭게 하는 데 초점을 맞춰야 한다고 강조했다.
Slack에서 대화 중 인터랙티브 차트 및 보고서 생성 가능
Slack의 새로운 기능인 Slackforce Surfaces를 통해 사용자는 대화 중에 인터랙티브 보고서, 설문조사, 대시보드 등을 직접 만들 수 있다. 사용자가 Slackbot에게 필요한 내용을 설명하면, Slackbot이 관련 대화와 연결된 앱(예: Google Drive, Salesforce)에서 정보를 수집하여 이를 생성한다. 생성된 Surface는 동료들과 공유하고 채널에 고정할 수 있어 다른 사람들이 이를 보고, 상호작용하며 댓글을 남길 수 있다.
Meta의 Muse 에이전트 출시와 OpenAI의 수학 문제 해결
Meta는 Muse 에이전트를 출시하여 소비자에게 무료로 하드웨어와 소프트웨어를 제공하며, 일반인이 에이전트를 활용할 수 있는 장벽을 크게 낮췄다. 반면 OpenAI는 유명한 수학 문제를 해결하는 성과를 보였지만, 이는 대부분 사람의 삶에 큰 영향을 미치지 않는다.
xAI의 Grok Bot 개발 비하인드 인터뷰
xAI의 Grok Bot을 이끄는 Roman Ugarte가 렌디 라치츠키의 팟캐스트에서 Grok Bot의 설계와 관련된 내부 이야기를 약 한 시간 반 동안 공유했다. 인터뷰에서는 Grok Bot의 기능과 디자인 결정 배경에 대한 설명이 포함되어 있으며, 사용자들이 궁금해할 만한 요소들에 대한 의사결정 과정이 드러난다.
NVIDIA 기술을 활용한 로봇 택시 시장의 발전
로봇 택시 시장은 2035년까지 4,000억 달러에 이를 것으로 예상되며, 600만 대 이상의 상업용 차량이 운행될 예정이다. NVIDIA는 AI 모델 준비 및 훈련, 주행 행동 시뮬레이션 및 검증, 차량 내 실시간 처리 등을 위한 오픈 플랫폼을 제공한다. NVIDIA의 로봇 택시 기술 스택은 모델 훈련, 시뮬레이션 및 검증, 차량 내 컴퓨팅을 포함한 세 가지 컴퓨터 솔루션으로 구성된다. NVIDIA DRIVE Hyperion은 레벨 4 준비가 완료된 로봇 택시를 위한 모듈형 차량 내 컴퓨팅 및 센서 아키텍처를 제공한다.
d-Matrix, NVIDIA NVLink Fusion을 통한 Raptor XPU 배포 발표
AI 추론 칩 제조업체 d-Matrix는 차세대 Raptor XPUs를 NVIDIA의 AI 인프라 플랫폼에 연결하기 위해 NVLink Fusion을 사용할 것이라고 발표했다. 이를 통해 d-Matrix는 NVIDIA MGX 생태계의 검증된 랙 설계와 공급망, 전력 및 냉각 인프라를 활용할 수 있다. NVLink Fusion은 맞춤형 XPU와 CPU를 NVIDIA 스택에 연결하는 고대역폭, 저지연 기술로, 데이터 센터가 GPU, CPU, XPU를 지원할 수 있는 공통 랙을 표준화할 수 있도록 한다.
오픈AI 개발자가 소개하는 GPT-6 Astra 프롬프트 활용법
요즘 프로덕트 메이커는 매주 유용한 AI 도구와 팁을 소개한다. 이번 주에는 AI에게 다이어그램을 깔끔하게 만들어주는 'diagram-design' 스킬을 추천하며, 이 도구는 39가지 유형의 다이어그램을 생성할 수 있다. 사용자는 원하는 그림을 설명하면 AI가 적절한 유형을 선택해 HTML 파일로 결과물을 제공한다. 또한, 브랜드 맞추기 기능을 통해 웹사이트 색상과 글꼴을 반영한 다이어그램을 만들 수 있다.
Azure AI Speech LLM 2607: 다국어 인식 개선 및 사용자 정의 용이성 향상
Azure AI Speech의 최신 모델 업데이트인 LLM Speech 2607은 다국어 인식 및 혼합 언어 오디오 입력에서 개선된 성능을 제공하며, 구문 목록 기능의 사용자 경험을 향상시킵니다. 이 모델은 Tier 1 및 Tier 2 언어에서 품질 향상을 이루었고, 혼합 언어 오디오 인식, Tier 2 및 Tier 3 언어의 정확도 개선, 도메인 인식 기능이 강화되었습니다. 또한, 구문 목록 기능을 통해 2,000개 이상의 엔티티를 포함할 수 있어 사용자 정의가 간편해졌습니다.
AI가 벤처 캐피탈의 파워 법칙을 어떻게 변화시키고 있는가
a16z의 Jen Kha와 David George는 Accolade Partners의 Aram Verdiyan과 함께 AI가 기술 투자에서의 파워 법칙을 어떻게 변화시키고 있는지 논의했다. AI는 전통적인 소프트웨어보다 더 큰 영향을 미칠 수 있으며, 노동, 의료, 운송, 서비스 등 경제의 주요 부분에 적용될 수 있다. David는 자본이 AI 회사의 이점을 강화할 수 있다고 설명하며, Aram은 AI를 위성 포지션이 아닌 핵심 할당으로 다루어야 한다고 주장했다. 또한, 벤처 및 성장 투자에서의 경제 변화, 진정한 AI 성과와 초기 과대 광고를 구별하는 방법, 레거시 소프트웨어와 사모펀드에 대한 AI의 의미, 로봇공학, 자율주행, 의료, 에너지, 물리적 인프라 등에서의 기회에 대해서도 논의했다.
Microsoft, Salesforce 고객을 위한 AI 기반 Dynamics 365 Activate 출시
Microsoft는 Salesforce 고객을 위한 AI 기반 도구인 'Dynamics 365 Activate'를 공개했다. 이 도구는 Salesforce 구현을 Dynamics 365로 신속하게 전환할 수 있도록 지원하며, 데이터와 엔티티를 프로파일링하고 관계 및 종속성을 식별하여 이식 팀에게 명확한 청사진을 제공한다. Microsoft는 올해 말부터 추가 CRM 및 ERP 마이그레이션 시나리오를 출시할 예정이다.
AI의 사회적 영향력과 일반인의 체감
현재 AI는 대부분의 사람들에게 실질적인 변화나 혜택을 제공하지 못하고 있으며, 일상생활의 주요 요소인 가족, 음식, 교통, 오락에 미치는 영향이 미미하다. AI의 발전은 주로 엘리트 계층을 위한 도구로 기능하고 있으며, 지식 노동 분야에서 AI는 전기와 같은 필수적인 도구로 자리 잡을 것으로 예상된다. 그러나 이러한 변화가 일반 대중에게 실질적인 혜택으로 이어지기까지는 시간이 걸릴 것이다.
Heurist Finance가 Amazon Bedrock AgentCore를 활용한 AI 기반 투자 워크벤치 구축
Heurist는 Amazon Bedrock AgentCore를 사용하여 소매 투자자를 위한 AI 기반 금융 인텔리전스를 구축하였다. Heurist Finance는 시장 데이터 수집, 공시 및 뉴스 분석, 심층 연구, 포트폴리오 구축 및 스트레스 테스트, 포지션 모니터링 등의 기능을 제공하며, 각 답변은 사용자의 포트폴리오와 선호도를 반영한다. Heurist는 프리미엄 데이터를 쿼리별로 구매할 수 있는 AgentCore payments 기능을 활용하여 시스템을 구축하였다.
Codex 개발자 Tibo Sottiaux의 인터뷰
Tibo Sottiaux는 OpenAI의 Core Products & Platform 조직을 이끌며 Codex의 개발에 참여한 엔지니어이다. Codex는 Rust로 작성되었으며 오픈 소스로 제공된다. Codex는 다양한 AI 모델과 호환되며, 코드 리뷰, 유지보수, 시스템 재구성 등 소프트웨어 개발 라이프사이클 전반에서 사용된다. Tibo는 Google에서의 경험을 통해 제품의 시장 적합성을 항상 고려해야 한다는 교훈을 얻었다.
Microsoft Foundry 2026년 7월과 8월 업데이트
2026년 7월 9일, Microsoft Foundry의 Hosted Agents가 일반 제공(GA)으로 출시되었으며, Voice Live 통합 및 Toolboxes 기능도 GA로 제공된다. 8월 17일 발표에서는 Azure에서 호스팅되는 배포에 Claude 기능이 추가되었고, 구조화된 출력, 웹 검색, MCP 커넥터, 도구 검색 기능이 포함되었다. Model Router는 GPT-5.6 변형과 Claude Opus 4.8을 포함하여 확장되었고, Foundry Local은 다중 GPU 추론 기능을 추가하였다. Foundry SDK는 Python과 JS/TS의 안정적인 버전 2.5.0, Java 2.4.0으로 업데이트되었고, .NET은 3.0.0 미리보기 상태이다.
Amazon SageMaker Feature Store, UpdateRecord API로 기능별 업데이트 지원
Amazon SageMaker Feature Store는 이제 UpdateRecord API를 통해 기능별 업데이트를 지원한다. 이 API를 사용하면 전체 레코드를 읽거나 다시 쓸 필요 없이 하나 이상의 기능 값을 단일 호출로 업데이트할 수 있다. 이 기능은 Standard(Amazon DynamoDB 기반) 및 In-Memory(Amazon ElastiCache 기반) 온라인 스토어 계층에서 사용할 수 있다.
ChatGPT Images 2.5 출시
OpenAI의 이미지 생성 모델은 ChatGPT Images와 GPT-Image API에서 30억 개 이상의 이미지가 사용되었다. 이번 2.5 버전은 다중 턴에서의 지시 따르기 능력을 개선하고, 반응 속도를 높이며, 참조 사진의 주제를 더 잘 보존한다. API에는 두 개의 새로운 모델 ID인 gpt-image-2.5-sunburst와 gpt-image-2.5-flare가 추가되었으며, Sunburst는 편집 정확도가 중요한 작업에 적합하다.
토스의 기술 작가들이 구축한 내부 문서 플랫폼 todoc
토스의 기술 작가들은 내부 문서 플랫폼 todoc를 개발하여, 사용자가 쉽게 문서를 작성하고 AI와 연결할 수 있도록 했다. todoc는 500개 이상의 문서와 40,000페이지를 보유하고 있으며, 매달 1,000명 이상의 사용자가 이용하고 있다. 기존 문서 도구의 문제를 해결하기 위해, 사용자가 쉽게 문서를 작성할 수 있도록 장벽을 제거하고, AI와의 연계를 용이하게 하며, 모든 내부 지식을 하나의 출처로 통합하는 것을 목표로 하고 있다.