AWS, 소형 언어모델 Ollama 로컬 처리와 Amazon Bedrock 클라우드 모델을 나누는 AAIF 프레임워크 공개

Adaptive agentic intelligence framework using Strands Agents

AWS 머신러닝 블로그는 Strands Agents로 만든 Adaptive Agentic Intelligence Framework(AAIF)를 소개했다. 모든 요청을 대형 모델 하나로 보내는 대신, llama3.2:1b 소형 언어모델이 요청을 분류해 단순 작업은 로컬에서, 복잡한 분석은 Amazon Bedrock의 클라우드 모델로 나눠 처리한다. AAIF는 세 개 계층으로 구성된다. 경량 SLM(llama3.2:1b)이 라우팅을 맡는 스마트 오케스트레이션 계층, Ollama로 실행하는 llama3.2-vision 등 SLM으로 기기 텔레메트리 조회와 이미지 분석을 처리하는 로컬 처리 계층, 그리고 Amazon Bedrock의 프런티어 모델로 복합 패턴 분석과 전략적 권고를 생성하는 클라우드 처리 계층이다. 에이전트는 get_device_telemetry, analyze_camera_feed, get_expert_insights 세 도구를 노출하며, 마지막 도구는 boto3로 Bedrock을 호출한다. 기사는 이 구조가 8GB 메모리의 Raspberry Pi 같은 엣지 기기, 전부 Bedrock으로 보내는 완전한 클라우드 배포, 로컬과 클라우드를 섞은 하이브리드 구성에 모두 맞출 수 있다고 설명한다. 라우팅 로직과 처리 도구가 분리되어 있어 하드웨어와 네트워크 환경에 따라 각각 교체하거나 재구성할 수 있다는 점이 핵심이다. 기사는 이 접근이 NVIDIA의 Belcak 등이 주장한 '에이전트 시스템의 많은 호출에 소형 언어모델이 충분히 강력하고 더 적합하며 경제적'이라는 연구 입장에 기반한다고 밝힌다. 이 글은 IoT 모니터링 시나리오를 참조 구현으로 사용하며, 실행 전제로 AWS 계정, Bedrock 모델 접근 권한, Python 3.10 이상, Ollama 설치와 모델 pull, strands-agents 패키지 설치를 요구한다.