LangChain
LangChain
LangChain은 LLM 애플리케이션을 조립하기 위한 오픈소스 개발 프레임워크다. 모델 호출, 프롬프트, 도구(tool) 호출, 메모리, 검색(RAG), 출력 파싱 같은 구성요소를 표준 인터페이스로 추상화해, 특정 LLM 제공자에 묶이지 않고 파이프라인을 갈아끼우며 만들 수 있게 한다. Python·JavaScript/TypeScript 양쪽을 지원한다.
핵심은 다양한 모델·벡터DB·도구를 감싸는 통합 어댑터와, 에이전트·체인을 구성하는 빌딩 블록이다. 그래프 기반으로 상태·분기·반복이 있는 복잡한 에이전트를 만드는 LangGraph가 사실상 핵심 런타임으로 자리 잡았고, 관찰·디버깅은 같은 회사의 LangSmith로 연결된다.
대상은 RAG·에이전트·멀티스텝 워크플로를 직접 코드로 구축하는 개발자·ML 엔지니어다. 프레임워크 자체는 무료 오픈소스이며, 수익화는 LangSmith(관측·평가)와 LangGraph Platform(에이전트 배포·관리) 같은 상용 부가 제품에서 발생한다.
강점은 방대한 통합 생태계, 빠른 프로토타이핑, 제공자 교체 용이성이다. 한계는 추상화 레이어가 두꺼워 디버깅이 어려울 수 있고 잦은 API 변경으로 마이그레이션 부담이 있다는 점, 그리고 단순 작업엔 오히려 직접 SDK 호출이 가볍다는 비판이다. 실무에선 LangGraph 중심으로 얇게 쓰는 패턴이 늘었다.
AI 개발 관련 브리핑
Amazon EKS에서 NVRx를 이용한 내결함성 분산 훈련
대규모 분산 훈련 작업은 여러 노드에서 수 시간 또는 수일 동안 실행되며, 이 과정에서 네트워크 분할, 메모리 오류, 소프트웨어 예외 등이 발생할 수 있다. NVIDIA Resiliency Extension (NVRx)을 PyTorch Fully Sharded Data Parallel (FSDP) 훈련에 통합하여 비동기 체크포인팅, 프로세스 내 재시작, 작업 내 재시작 기능을 제공한다. Amazon EKS는 관리형 Kubernetes 서비스로, p5.48xlarge 인스턴스에서 NVIDIA H100 GPU를 사용하여 훈련 작업을 수행한다.
NVRx는 PyTorch에 내결함성 기능을 추가하여 훈련 중 발생할 수 있는 오류를 효과적으로 처리할 수 있다.
토스증권의 GPU-native 클러스터 구축 과정
토스증권은 Kubernetes 기반의 GPU 클러스터를 구축하여 GPU-aware 상태에서 GPU-native 상태로 발전시켰다. GPU-aware 상태는 쿠버네티스가 GPU를 자원으로 인식하고 할당하는 것이며, GPU-native 상태는 GPU의 정상 여부를 판단하고, 검증된 노드만 워크로드를 받게 하며, 서비스에 필요한 단위로 자원을 나누고 배치할 수 있는 조건을 갖춘 상태를 의미한다. 이를 위해 NVIDIA 커널 드라이버, NVIDIA Container Toolkit, NVIDIA Device Plugin 등을 활용하여 GPU를 쿠버네티스의 스케줄링 대상으로 만들었다.
GPU-aware에서 GPU-native로 발전함에 따라, 토스증권은 멀티테넌트 GPU 클러스터를 운영하며 서비스에 필요한 자원을 효율적으로 관리할 수 있게 되었다.
토스뱅크의 Next.js Pages Router 유지 결정
토스뱅크 프론트엔드 개발자는 Next.js의 Pages Router를 사용하고 있으며, App Router와 React Server Components(RSC)를 검토했으나, 서비스 안정성을 유지하는 비용이 이득보다 크다고 판단하여 도입하지 않기로 했다. App Router는 데이터를 가져오는 컴포넌트를 나누고 Suspense로 감싸는 기능이 있지만, 화면 흔들림 문제와 경계 구분의 복잡성으로 인해 도입을 포기했다. 또한, App Router의 usePathname()는 경로 패턴 정보를 제공하지 않아 로깅 기능이 부족하다는 점도 고려됐다.
App Router의 usePathname()는 /blog/[slug]와 같은 경로 패턴을 제공하지 않아, 기존 로깅 기능을 유지하기 위한 별도 패키지 개발이 필요하다.
2x R9700과 64 GB DDR5를 갖춘 시스템의 Qwen 3.8 성능
사용자는 2개의 AMD Radeon AI PRO R9700 32 GB와 64 GB DDR5 RAM을 장착한 시스템에서 Qwen 3.8 27b FP8 및 Flash Next의 성능을 테스트하였다. 이 시스템은 Ryzen 7500F 프로세서와 Asus ProArt Creator X870E 메인보드를 기반으로 하며, SATA SSD에서 Qwen 3.8 Flash Next를 사용할 때 성능이 나쁘지 않음을 발견하였다. 전체 시스템 비용은 약 4,000 유로로 RTX 5090보다 저렴하다.
Qwen 3.8 27b의 성능을 활용하여 깊이 있는 연구, 요약, 이미지 생성, 경량 코딩 및 데이터 분석을 수행할 수 있다.