멀티에이전트를 6개월 굴려보니, 효과 본 건 역할을 쪼갠 게 아니라 검수를 분리한 것이었다
에이전트 수를 8개에서 25개까지 늘려도 품질은 안 올랐고, 실제로 효과 본 건 Maker-Critic 분리와 자기검수 차단뿐이었습니다
긴 계약서 요약에서 중간 조항이 누락되는 lost in the middle, 모델 교체로 줄였지만 근본 해법은 청킹이었다
40페이지 계약서 요약에서 중간 조항이 빠지는 문제를 4o에서 Claude로 옮겨 줄인 기록과, 그게 임시방편인 이유
문서 요약 SaaS에서 GPT-4o와 Claude Sonnet을 실트래픽 절반씩 한 달 A/B 돌린 결과
벤치가 아니라 '한국어 표 섞인 PDF' 워크로드에서 한 달 실트래픽으로 비교했고, 결론은 Sonnet 기본 + 단순 요청만 싼 모델로 라우팅
여러 파일에 흩어진 NestJS 400 버그를 챗봇 AI가 끝까지 못 짚은 이유
@UsePipes(ZodPipe)가 @Param/@Query까지 파싱해 정상 요청도 400. 조각만 보는 AI 채팅은 헛다리만 짚었고 결국 e2e 로그로 잡았다
LLM-as-judge로 자동 채점하다 만난 함정 3개와 pairwise·rubric으로 우회한 방법
단일점수 후함·position bias·길고 그럴듯한 답 편애 세 함정을 pairwise와 yes/no rubric으로 우회한 기록
비개발자가 n8n으로 매주 4시간 광고 정산 노가다를 자동화하며 부딪힌 메타 토큰 만료
광고 정산 4시간을 n8n으로 자동화하며 부딪힌 메타 단기→장기 토큰 교환과 플랫폼별 응답 정규화 정리
제품 코드 없이 랜딩 + 얼리액세스 폼만 이틀 만에 띄워 수요 검증한 기록
신청 30여 명이라는 숫자보다, 폼에 끼운 주관식 한 줄이 가설을 통째로 뒤집은 이야기
vibe coding으로 주말에 만든 프로토타입을 사내 프로덕션에 올렸다가 인증 우회로 깨진 기록
Karpathy가 2025년 2월 트윗에서 "vibe coding"이라는 말을 만들었다. "vibes에 완전히 맡기고, 코드가 존재한다는 사실조차 잊는" 코딩. 원문은 "I just see stuff, say stuff, run stuff, and c
AI 브라우저를 사내 도구에 붙이려다 멈춘 이유: browser-use로 간접 프롬프트 인젝션 직접 재현
사내 운영팀이 "공급사 포털 10여 곳 들어가서 정산 상태 긁어오는 거 AI 브라우저로 자동화 안 되냐"고 물어왔다. Perplexity Comet 같은 상용 AI 브라우저를 쓸지, 아니면 browser use 같은 오픈소스로 직접 붙일지 비교하려고
분류 프롬프트 정확도, 정의문을 늘리는 것보다 경계 케이스 few-shot 3개가 잘 먹혔다
정의 열 줄보다 자주 틀리는 경계 케이스 few-shot 2~3개가 분류 정확도를 올렸다. 핵심은 깨끗한 예시가 아니라 헷갈리는 예시
비개발자가 Claude Code로 월간 엑셀 합산을 자동화하며 배운 것
코드를 못 읽어도 엑셀 합산 스크립트는 만들어지지만, 부호가 뒤집힌 합계처럼 결과 검증은 사람이 해야 한다
이미지 생성은 한 방에 안 나온다는 전제로 파이프라인을 짜야 합니다
프롬프트 한 줄로 끝낸다는 전제 대신, 구도는 생성·톤과 텍스트는 후보정으로 분리하는 워크플로를 권합니다
RAG에 cross-encoder 리랭커를 붙인 전후를 한국어 문서로 직접 측정했다
top-30 retrieval 후 리랭크로 정답 포함률 79→101(120건)·지연 800ms→1.4초, 한국어는 m3 vs Cohere를 직접 A/B 해야 한다
Make 시나리오 cron을 정각에 박으면 그날 슬롯을 놓치는 이유 (date:less 경계)
Make에서 19시 정각 cron이 그날 19시 발행을 매번 건너뛰던 원인은 date:less 게이트의 경계 비교였다