Ollama
로컬 머신에서 오픈 LLM을 손쉽게 내려받아 실행하는 런타임이다. 단일 명령으로 모델을 띄우고 API로 호출할 수 있다.
정보 오늘 확인
개요
Ollama는 로컬 머신에서 오픈 웨이트 LLM을 손쉽게 내려받아 실행하게 해주는 도구다. 모델 가중치·설정·프롬프트 템플릿을 하나의 패키지로 묶어 ollama run 한 줄로 구동하게 만들어, 로컬 LLM의 진입 장벽을 크게 낮췄다. macOS·Linux·Windows를 지원한다.
핵심 기능은 모델 라이브러리에서의 원클릭 pull/run, GGUF 양자화 모델 실행, Modelfile을 통한 커스텀 모델 정의, OpenAI 호환 로컬 API 서버, 그리고 CPU/GPU·Apple Silicon 자동 활용이다. 데스크톱 앱과 CLI를 모두 제공하며 멀티모달·임베딩 모델도 다룬다.
대상은 프라이버시·오프라인·비용 이유로 LLM을 로컬에서 돌리려는 개발자·연구자, 그리고 로컬 모델을 앱에 붙이려는 사람이다. 소프트웨어는 무료 오픈소스이며 비용은 자신의 하드웨어뿐이다. 별도 클라우드 호스팅 옵션도 등장하고 있다.
강점은 압도적으로 간단한 설치·실행 경험, OpenAI 호환 API로 기존 코드에 쉽게 연결, 데이터가 로컬에 머무는 프라이버시다. 한계는 로컬 하드웨어(특히 VRAM)에 성능·모델 크기가 묶여 대형 모델은 양자화·속도 타협이 필요하고, 고동시성 프로덕션 서빙은 vLLM 같은 전용 엔진 대비 처리량이 떨어진다는 점이다.
- 플랫폼
- macOSWindowsLinuxCLIAPI
용도
업무별 적합·부적합 정리는 아직 없습니다. 분야와 태그로 짐작할 수 있는 범위만 보여드립니다.
가격·무료 조건
월/연 요금, 무료 범위, 체험 조건. 각 항목에 출처와 확인일을 적습니다.
가격 모델은 부분 무료로 등록돼 있지만, 세부 조건은 아직 확인되지 않았습니다. 공식 가격 페이지에서 확인해 주세요.
한국어
입력·결과물·화면·고객지원으로 나눠 봅니다.
한국어 지원 여부가 아직 확인되지 않았습니다.
데이터·도입
팀 결제·SSO·세금계산서·데이터 처리 안내. 확인되지 않은 항목은 그대로 '확인되지 않음'으로 둡니다.
아직 확인된 정보가 없습니다. 공식 사이트에서 직접 확인해 주세요.
소식
AIPida 뉴스 브리핑에서 이 서비스를 다룬 글과 출시 이력.
아직 이 서비스를 다룬 브리핑이 없습니다.
대안
아직 같은 업무로 묶인 대안이 없습니다. 아래는 같은 분야 중 AIPida에서 많이 본 서비스입니다.
혜택
진행 중인 혜택만 보입니다. 조건과 링크는 누구나, 코드는 로그인 후.
지금 진행 중인 혜택이 없습니다. 저장해 두면 가격·무료 조건 변경을 내 도구에서 알려드립니다.
Q&A
Ollama에 대한 질문이 아직 없어 LLM 개발·인프라 분야 Q&A를 보여드립니다.
프롬프트 조금만 바꿔도 출력 품질이 들쭉날쭉합니다. 평가를 어떻게 자동화하나요?
RAG란 무엇인가
LLM 출력 평가 어떻게 하나
RAG 답변이 검색 청크엔 정답이 있는데 모델이 엉뚱하게 답합니다 (한국어 임베딩)
LLM 출력 JSON이 가끔 ```json 코드펜스 붙어서 json.loads가 터집니다. 안정적으로 구조화 출력 받는 법?