ollama

Ollamaは、LLM（大規模言語モデル）をローカル環境で簡単に実行するためのツールです。Llama、Mistral、Gemma、Phi等のモデルをワンコマンドでダウンロード・実行し、API経由で利用できます。

• ワンコマンド実行 — `ollama run llama3` で即座にモデルを起動
• モデルライブラリ — Llama 3、Mistral、Gemma、Phi、Command R等の主要モデルを網羅
• OpenAI互換API — 既存のOpenAI SDKやツールをそのまま利用可能
• GPU対応 — NVIDIA、AMD GPUによるアクセラレーション
• Modelfile — Dockerfileライクな記法でカスタムモデルを定義
• マルチモーダル — LLaVA等のビジョンモデルによる画像認識にも対応

Goで構築。macOS、Linux、Windowsに対応。ChatGPTの代替として、データを一切外部に送信せずにAIを活用できるローカルLLM実行環境の決定版です。Open WebUIと組み合わせて使われることが多い。