Ollama

Ollama 的安装不需要 Conda、不需要 pip、不需要手动下载权重文件。macOS 和 Linux 一条 curl 命令搞定，Windows 用 PowerShell 一行同样搞定。装完后 ollama run llama3 就能直接开聊，模型会自动下载到本地缓存目录。

curl -fsSL https://ollama.com/install.sh | sh

irm https://ollama.com/install.ps1 | iex

ollama run llama3        # Meta Llama 3
ollama run qwen2.5:7b  # 通义千问 2.5
ollama run deepseek-r1   # DeepSeek R1
ollama run gemma3       # Google Gemma 3

Ollama 启动后会自动在 localhost:11434 暴露一套与 OpenAI API 兼容的接口。这意味着你之前写的调用 GPT-4 的代码，只需要改一下 base URL 和模型名，就能无缝切换到本地模型，不需要改业务逻辑。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1",
    api_key="ollama"  # 任意值均可
)

response = client.chat.completions.create(
    model="llama3",
    messages=[{"role": "user", "content": "解释一下量子纠缠"}]
)
print(response.choices[0].message.content)

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "http://localhost:11434/v1",
  apiKey: "ollama",
});

const res = await client.chat.completions.create({
  model: "qwen2.5:7b",
  messages: [{ role: "user", content: "用一句话介绍厦门" }],
});
console.log(res.choices[0].message.content);

Ollama 维护了一个官方模型库（ollama.com/library），涵盖对话、代码生成、嵌入、多模态等各方向。以下列出 2026 年最值得关注的一批模型：

Ollama 引入了 Modelfile 的概念，让你可以在不重训模型的前提下定制系统提示词、温度参数、上下文长度等。它和 Dockerfile 的思路如出一辙：写一个配置文件，然后 build 出一个"定制版模型"。

FROM qwen2.5:7b

# 设置系统角色
SYSTEM "你是一个专注于 Python 代码审查的助手，请严格检查代码质量。"

# 参数调整
PARAMETER temperature 0.2
PARAMETER num_ctx 4096

# 注入知识库（可选）
# ADAPTER ./lora_adapter.bin

ollama create my-code-reviewer -f Modelfile
ollama run my-code-reviewer "帮我审查这段 Python 代码..."

从时间线可以看出，Ollama 2026 年春季的更新主要围绕三条主线：Apple Silicon 性能优化（MLX 后端）、Agent 生态布局（Hermes、OpenClaw）、新模型快速集成（几乎每个主流新模型发布后一周内就能在 Ollama 上拉到）。

Ollama 本身是用 Go 写的，负责模型管理、API 服务、命令行交互这些"上层"事情。实际的模型推理走的是底层 C/C++ 引擎，目前主要用 llama.cpp，在 Apple Silicon 上还可以切到 MLX 后端。

MLX 是 Apple 自己出的机器学习框架，专门针对 Apple Silicon（M1/M2/M3/M4/M5）芯片优化。Ollama 从 v0.21.0 开始原生支持 MLX 后端，在 Mac 上的推理性能提升非常明显。

如果你在用 Mac 做本地 AI 开发，升级到 Ollama v0.21.1+ 是绝对值得的，不需要改任何代码，性能提升是"白给"的。

以上数据来自社区测试汇总。实际速度受 num_ctx（上下文长度）、temperature、批处理大小等参数影响。想要更准确的数字，建议用 ollama run <model> --verbose 在实际硬件上跑一下。

根据社区测试（2026 年 4 月数据），在 M3 MacBook Air 上运行 Gemma 4 27B 模型：

生成速度直接翻倍。更关键的是，MLX 后端的显存管理更高效，同样的内存可以跑更大的模型，或者同样的模型可以有更长的上下文窗口。

• [1]Ollama GitHub 仓库（170K+ Stars）
• [2]Ollama 官网 —— 下载与文档入口
• [3]Ollama 模型库 —— 170+ 模型在线浏览
• [4]Ollama Releases —— 版本更新日志
• [5]Ollama 官方文档（API / CLI / Modelfile）
• [6]Ollama README —— 完整集成生态列表
• [7]Ollama v0.21.2 更新详解（腾讯云社区）
• [8]Ollama 2026 年 4 月更新汇总（Nemotron 3 / Laguna）
• [9]本地跑大模型三巨头对比（知乎）
• [10]本地部署大模型完全指南（Ollama / LM Studio / GPT4All）