Letta
Letta (MemGPT)
Letta는 MemGPT 논문에서 제시된 아이디어를 실제 런타임으로 옮긴 에이전트(agent) 메모리 프레임워크다. 컨텍스트 윈도를 운영체제의 가상 메모리처럼 다루어, 한정된 컨텍스트 안과 밖을 오가며 정보를 적재·교체한다.
핵심은 3계층(tier) 메모리 구조다. 당장 컨텍스트에 들어가는 기억과 외부에 보관되는 기억을 구분하고, 필요할 때 인출해 컨텍스트로 끌어오는 방식으로 동작한다. 이를 통해 세션을 넘는 장기 기억을 다룬다.
장기 운영되는 에이전트를 만들 때, 그리고 메모리 관리 자체를 직접 구현하기보다 검증된 추상에 맡기고 싶을 때 적합하다. 컨텍스트 윈도에 모든 이력을 담을 수 없는 상황을 메모리 계층으로 풀려는 경우가 대표적이다.
주의할 점은 어떤 정보를 컨텍스트에 올리고 무엇을 외부에 둘지에 따라 응답 품질과 비용이 달라진다는 것이다. 메모리 계층을 도입한다고 자동으로 해결되지는 않으며, 인출 전략과 요약 정책을 함께 설계해야 한다.
AI 툴 관련 브리핑
클로드 토큰 요금을 85% 줄이는 방법
Ben AI의 영상 'Paste This Into Claude, Never Hit a Token Limit Again'이 9월 14일에 올라왔으며, 클로드 같은 AI 모델의 토큰 지출을 줄이는 방법을 설명한다. 영상의 길이는 16분 46초로 조회수는 5만 3천 회, 댓글은 25개다. 진행자 Ben은 AI 에이전시와 커뮤니티를 운영하며, 같은 결과를 절반 이하 가격에 얻는 방법은 도구가 아니라 습관에 있다고 결론짓는다.
클로드 모델의 토큰 비용을 줄이는 방법을 통해 비용 효율적인 AI 활용 방안을 제시한다.
Matt Pocock의 AI 기술과 교육 경로
Matt Pocock는 'grill-me' 스킬을 개발했으며, 이는 사용자를 지속적으로 인터뷰하도록 지시하는 간단한 기능이다. 그는 Vercel에서 일하며 TypeScript 코스를 개발했고, 인기 있는 두 분짜리 TypeScript 팁 비디오를 제작했다. Matt는 클라우드 기반 에이전트 설정이 로컬 에이전트보다 더 효율적이라고 믿으며, 'tracer bullet' 개념을 활용해 에이전트가 더 나은 코드를 생성하도록 유도하고 있다. 또한, 그는 주말에는 일하지 않으며 가족과의 시간을 중요시한다.
Matt Pocock는 'grill-me' 스킬을 통해 AI 에이전트가 사용자와의 상호작용을 개선할 수 있음을 보여준다.
구글의 영상 분석, 이미지 디자인, 시계열 예측 도구 업데이트
구글은 8월 말부터 9월 첫째 주 사이에 영상 분석, 이미지 디자인, 시계열 예측 도구를 업데이트했다. 이 세 가지 도구는 각각의 기능을 단독으로 사용할 수 있지만, 통합하여 활용할 경우 1인 사업의 비용 구조에 영향을 줄 수 있다. 관련 영상은 iampauljames 채널에서 9월 15일에 업로드되었다.
이 세 가지 도구를 통합하여 활용하면 1인 사업의 비용 구조를 변화시킬 수 있다.
Sentry와 Grafana를 활용한 사용자 오류 추적 방법
AI로 개발 속도가 빨라지면서 코드와 기능은 증가했지만 안정성은 따라오지 못하고 있다. 이를 해결하기 위해 Sentry와 Grafana를 도입하여 각각 실패와 성공을 체크하고 있다. Sentry는 화면 오류와 서버 5xx 에러를 모니터링하며, Grafana는 API 요청의 성공률과 핵심 시나리오의 전환율을 확인한다. 이 두 도구를 통해 사용자 경험을 개선하고 문제의 원인을 파악하는 데 도움을 주고 있다.
Sentry는 화면 오류와 서버 에러를 추적하고, Grafana는 API 요청의 성공률을 모니터링하여 사용자 경험을 향상시킨다.