Foundry Local로 Qwen3.8-27B를 기기 내에서 구동해 GitHub Copilot과 연결하는 방법
Bring Agentic Coding On-Device with Foundry Local
Microsoft Foundry Local을 사용해 Qwen3.8-27B 모델을 로컬 GPU에서 실행하고 GitHub Copilot의 BYOK 기능으로 연결하는 방법이 소개되었다. 코드와 컨텍스트가 기기 밖으로 나가지 않아 개인정보 보호, 예측 가능한 추론 비용, 오프라인 작업이 가능하다는 점이 강조된다. Qwen3.8-27B는 4비트 양자화로 모델 크기가 약 18GB로 줄어 VRAM 24GB 이상의 소비자용 GPU에서 실행할 수 있으며, 24GB 환경에서는 최대 64K 토큰, 32GB 이상에서는 최대 262K 토큰의 컨텍스트 창을 지원한다. Foundry Local은 ONNX Runtime 기반으로 DFlash 투기적 디코딩, CUDA 그래프 융합, KV 캐시 양자화, 프리픽스 캐싱, 연속 배칭 등을 적용했다. 기사에 따르면 RTX 5090(32GB)과 DGX Spark(128GB 통합 메모리)에서 llama.cpp와 비교해 모든 테스트 프롬프트 길이에서 생성 속도가 더 빠랐고, 131K 토큰을 넘어서면서 격차가 커졌다. 설치에는 Foundry Local CLI 0.13.0 이상과 별도로 설치하는 CUDA 및 cuDNN 런타임이 필요하다. 기사는 로컬 모델이 크기 때문에 고수준 추론 능력이 고급 클라우드 모델보다 제한될 수 있다고 명시하며, 복잡한 고난도 작업에는 클라우드 모델이 여전히 강력한 선택이라고 설명한다.
24GB VRAM GPU에서 Qwen3.8-27B(4비트, 약 18GB)를 최대 64K 토큰 컨텍스트로 실행하고 GitHub Copilot의 BYOK로 연결할 수 있어, 로컬 코딩 에이전트 환경을 구성하는 데 직접 참고할 수 있다.
원문 출처
Microsoft Foundry Blog (Azure AI)