闲社

标题: 【新手教程】Ollama + MLX 本地部署大模型：Apple Silicon Mac 极速体验指南 [打印本页]

---

作者: gue3004    时间: 昨天 10:21
标题: 【新手教程】Ollama + MLX 本地部署大模型：Apple Silicon Mac 极速体验指南
Ollama + MLX 本地部署大模型：Apple Silicon Mac 极速体验指南

2026年6月21日 | 虚三整理 | 适合零基础新手

---

一、为什么选 Ollama + MLX？

最近 Ollama 官方宣布支持 Apple MLX 框架，这意味着 Mac 用户终于可以用上原生优化的本地大模型推理了。相比之前的通用后端，MLX 版本在 M1/M2/M3 芯片上速度提升显著，内存占用也更低。

对于刚接触 AI 的新手来说，Ollama 是目前最友好的本地大模型工具——一条命令就能下载运行模型，无需折腾 CUDA、Python 环境或复杂的依赖。

二、前置条件

• Mac 电脑（M1/M2/M3 芯片，Intel Mac 不支持 MLX）
  
• macOS 12.3 或更高版本
  
• 至少 8GB 统一内存（16GB 推荐，可跑 7B 模型）
  
• 硬盘空间：单个模型 4-8GB
  

三、安装步骤

步骤 1：安装 Ollama

打开终端，执行以下命令：

1. curl -fsSL https://ollama.com/install.sh | sh

复制代码

或者访问官网下载安装包：https://ollama.com/download

安装完成后，验证是否成功：

1. ollama --version

复制代码

步骤 2：启用 MLX 后端（Preview）

Ollama 从 2026年3月 开始支持 MLX，目前为预览版。确保你的 Ollama 是最新版本：

1. ollama --version  # 确认版本 >= 0.6.0

复制代码

在 Apple Silicon Mac 上，Ollama 会自动检测并使用 MLX 后端，无需额外配置。

步骤 3：下载并运行第一个模型

以 Llama 3.2 为例（轻量级，适合新手）：

1. ollama run llama3.2

复制代码

首次运行会自动下载模型（约 2GB），下载完成后直接进入对话模式。

试试输入：

你好，请介绍一下你自己

步骤 4：验证 MLX 加速是否生效

运行以下命令查看当前使用的后端：

1. ollama ps

复制代码

如果看到类似以下的输出，说明 MLX 后端已启用：

1. NAME          ID              SIZE      PROCESSOR    UNTIL
2. llama3.2      a80c4f17...    2.9GB     100% GPU     Forever

复制代码

四、常用命令速查

• 列出本地模型：
  1. ollama list

  复制代码
• 删除模型：
  1. ollama rm 模型名

  复制代码
• 查看模型信息：
  1. ollama show 模型名

  复制代码
• 停止所有运行：
  1. ollama stop 模型名

  复制代码
• 拉取新模型：
  1. ollama pull 模型名

  复制代码

五、推荐新手模型

模型名	大小	适用场景	内存要求
llama3.2	2GB	通用对话、轻量任务	8GB
qwen2.5:7b	4.7GB	中文对话、代码	16GB
deepseek-r1:7b	4.7GB	推理、数学、代码	16GB
gemma2:9b	5.5GB	多语言、长文本	16GB

六、常见问题与解决

Q1：下载模型速度很慢？
A：Ollama 默认从官方仓库下载，国内用户可以尝试设置镜像源，或使用代理。

Q2：运行时报错 "model not found"？
A：先执行

1. ollama pull 模型名

复制代码

下载模型，再运行。

Q3：内存不足导致系统卡顿？
A：选择更小的模型（如 llama3.2 代替 70B），或关闭其他占用内存的应用。

Q4：如何与 Python 项目集成？
A：安装 ollama Python 库：

1. pip install ollama

复制代码

示例代码：

1. import ollama
2. response = ollama.chat(model='llama3.2', messages=[
3.   {'role': 'user', 'content': '你好'}
4. ])
5. print(response['message']['content'])

复制代码

Q5：MLX 和普通版本有什么区别？
A：MLX 是 Apple 专门为自家芯片优化的机器学习框架，相比通用后端，在 M 系列芯片上推理速度更快、功耗更低。Ollama 会自动选择最优后端。

七、进阶玩法

• 自定义模型：通过 Modelfile 创建自己的模型配置
  
• API 调用：Ollama 提供兼容 OpenAI 的 REST API
  
• 多模态：部分模型支持图像理解（如 llava）
  
• 与 Dify 集成：将本地模型接入 Dify 智能体平台
  

八、总结

Ollama + MLX 的组合让 Mac 用户也能轻松体验本地大模型，无需购买昂贵的 NVIDIA 显卡。对于新手来说，这是进入 AI 世界的最佳起点——安装简单、命令直观、社区活跃。

如果你成功跑起来了，欢迎在评论区分享你的体验和遇到的问题！

---

本教程基于 Ollama 官方文档和实际测试整理，如有更新请以官方文档为准。

---

欢迎光临 闲社 (https://www.xianshe.com/)

Powered by Discuz! X5.0