datasette-llm 0.1a11, OpenAI 호환 엔드포인트 지원 추가로 로컬 LLM 연결
datasette-llm 0.1a11
datasette-llm 0.1a11은 Datasette의 다른 플러그인이 사용할 LLM을 설정하는 중간 플러그인에 OpenAI 호환 엔드포인트 지원을 추가한 릴리스다. 이로써 OpenAI 의사 표준 웹 프로토콜을 쓰는 어디서든 호스팅된 LLM을 Datasette에 연결할 수 있다. 이번 릴리스로 LM Studio, Ollama, llama.cpp(v1.0.0) 같은 로컬 모델 런타임을 Datasette와 함께 쓸 수 있다. 기사 예시는 uvx --with datasette-agent datasette 명령에 plugins.datasette-llm.default_model 설정으로 model_name을 qwen/qwen3.8-27b, api_base를 http://localhost:1234/v1로 지정해 LM Studio의 로컬 모델을 Datasette Agent에 연결하는 방식이다. 실행 후 로컬 서버에서 Datasette Agent 채팅 인터페이스가 로컬 모델로 동작하며, 기사 스크린샷에서는 SQL 쿼리로 저장소 200개와 릴리스 1,889개를 집계하는 결과가 나온다.
datasette-llm의 OpenAI 호환 엔드포인트 지원으로 LM Studio·Ollama·llama.cpp의 로컬 모델을 api_base 설정만으로 datasette-agent에 연결할 수 있다.
원문 출처
Simon Willison's Weblog