闲社

标题: 手把手本地跑LLM：从下载到API调用全记录 🚀 [打印本页]

作者: bowstong 时间: 9 小时前
标题: 手把手本地跑LLM：从下载到API调用全记录 🚀
兄弟们，最近大模型遍地开花，但总有人问“本地部署难不难”？今天直接上干货，带你走一遍实战流程。

**硬件准备**
最低配置：16GB显存（比如RTX 3060 12G也能凑合），推荐32GB起步。内存建议32GB+，硬盘至少留100GB。系统用Ubuntu 22.04或Windows WSL2都行。

**模型选择**
别盲目追大模型！常用开源方案：Llama 3 8B（Q4量化后6GB左右）、Qwen2 7B（中文友好）、Mistral 7B（轻量高效）。下载走Hugging Face或ModelScope，用`git lfs`拉取，避免手动断点续传。

**部署工具**
- 新手首选Ollama：一行命令启动，自动量化、API暴露，支持`ollama run qwen2:7b`直接对话。
- 要自定义？上vLLM：`vllm serve Qwen/Qwen2-7B-Instruct`，支持流式输出、高并发。
- 整机资源紧张？用llama.cpp配合GGUF格式，CPU也能跑。

**避坑经验**
1. 显存不够开量化：`--quantize 4-bit`。
2. API别用默认端口：改`--port 8080`防冲突。
3. 中文乱码？检查模型tokenizer的`add_special_tokens`参数。

**实战总结**
本地部署核心就三步：选模型→量化→启动服务。Ollama适合快速验证，vLLM适合生产环境。别被“技术门槛”吓到，跑起来再说！

提问环节：你部署时遇到最大的坑是啥？是显存爆了还是模型加载失败？评论区聊聊，老铁们一起排雷。

欢迎光临闲社 (https://www.xianshe.com/)