【新手教程】Docker + Ollama 一键部署本地大模型：从零开始搭建AI开发环境

【新手教程】Docker + Ollama 一键部署本地大模型：从零开始搭建AI开发环境

最近不少朋友在问：想跑本地大模型，但不知道从哪下手。今天写一篇保姆级教程，用 Docker + Ollama 十分钟搞定，适合完全没接触过AI部署的新手。

一、前置条件

• 一台电脑（Windows / macOS / Linux 均可）
  
• CPU 支持 AVX2 指令集（2014年后的基本都支持）
  
• 内存建议 8GB+，想跑大模型推荐 16GB+
  
• 有 NVIDIA 显卡更好，没有也能用 CPU 跑
  
• 已安装 Docker Desktop（Windows/macOS）或 Docker Engine（Linux）
  

二、安装 Docker

如果还没装 Docker，先去官网下载对应版本：
Docker Desktop 官方下载

Linux 用户可以用包管理器：

2. curl -fsSL https://get.docker.com | sh
3. sudo systemctl enable --now docker

复制代码

装好后在终端执行

1. docker --version

复制代码

，看到版本号就是成功了。

三、安装 Ollama

Ollama 是目前最友好的本地大模型运行工具，一行命令搞定：

2. # macOS / Linux
3. curl -fsSL https://ollama.com/install.sh | sh
5. # Windows 直接去官网下载安装包
6. # https://ollama.com/download

复制代码

装完后验证：

2. ollama --version

复制代码

四、用 Docker 运行 Ollama（推荐方式）

如果你想更可控，或者要在服务器上跑，用 Docker 镜像更稳：

2. # 拉取镜像
3. docker pull ollama/ollama
5. # 运行容器（CPU 模式）
6. docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
8. # 有 NVIDIA 显卡的话，加 --gpus all
9. docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

复制代码

五、下载并运行模型

Ollama 官方维护了很多主流模型，一行命令下载+运行：

2. # 运行 Llama 3（Meta 开源，目前最强开源模型之一）
3. ollama run llama3
5. # 运行通义千问（阿里开源，中文表现好）
6. ollama run qwen2
8. # 运行 Mistral（欧洲开源，速度快）
9. ollama run mistral
11. # 运行 Gemma（Google 开源，轻量）
12. ollama run gemma2

复制代码

第一次运行会自动下载模型，根据网速可能需要几分钟到几十分钟。模型文件默认保存在

1. /root/.ollama

复制代码

（Docker 卷里）。

六、验证是否成功

模型下载完后，你会进入交互式对话界面。试着问点什么：

2. >>> 你好，请介绍一下自己

复制代码

如果看到模型回复了，恭喜你，本地大模型跑起来了！

也可以测试 API 是否正常工作：

2. curl http://localhost:11434/api/generate -d '{
3.   "model": "llama3",
4.   "prompt": "为什么天空是蓝色的？"
5. }'

复制代码

七、常见问题与解决

• Q: 下载模型太慢？
  A: 可以配置镜像加速，或者手动下载模型文件放到对应目录。
  
  
• Q: 提示内存不足？
  A: 换小模型试试，比如
  1. ollama run gemma2:2b

  复制代码
  只有 2B 参数，4GB 内存就能跑。
  
  
• Q: Windows 上 Docker 启动失败？
  A: 确保 BIOS 里开启了虚拟化（Intel VT-x / AMD-V），并安装 WSL2。
  
  
• Q: 怎么换模型？
  A: 直接
  1. ollama run 模型名

  复制代码
  即可，会自动切换。
  
  
• Q: 如何查看已下载的模型？
  A: 执行
  1. ollama list

  复制代码
  查看本地模型列表。
  
  
• Q: 怎么卸载模型？
  A:
  1. ollama rm 模型名

  复制代码
  ，释放磁盘空间。
  

八、进阶玩法

• 配合 Open WebUI 搭建网页版聊天界面
  
• 用 LangChain / Dify 接入自己的应用
  
• 部署到 NAS 或树莓派，24小时待机
  
• 尝试本地知识库（RAG），让模型读你的文档
  

九、总结

用 Docker + Ollama 部署本地大模型，对新手来说是最低门槛的方案。不用配环境、不用管依赖，几条命令就能跑起来。而且完全本地运行，数据不出本机，隐私有保障。

如果这篇教程对你有帮助，欢迎点赞收藏，有问题可以在楼下留言，我会尽量回复。

相关链接：
Ollama 官网
Ollama Docker 镜像
Ollama GitHub