闲社

标题: 本地跑LLM没你想的那么难，手把手干一个！ [打印本页]

作者: viplun 时间: 昨天 14:10
标题: 本地跑LLM没你想的那么难，手把手干一个！
兄弟们，最近群里一堆人问本地部署大模型是不是玄学。说真的，这事儿没多复杂，就是得踩几个坑。

先说说硬件门槛。想跑7B模型，至少16G显存（比如3060 12G也能凑合，但量化后速度会慢）。内存32G起步，硬盘留个100G装模型文件。别拿笔记本核显来杠，那是给自己找不痛快。

部署工具推荐三个：
1. **Ollama**：一键安装，命令行拉模型，比如 `ollama run llama3.1:8b`，适合新手。
2. **LM Studio**：图形界面，拖拽模型文件就能跑，支持GPU加速。
3. **vLLM**：老鸟专用，吞吐量高，适合API调用，但配置麻烦些。

实战步骤（以Ollama为例）：
- 去官网下载安装包，装完终端里敲 `ollama pull qwen2.5:7b`。
- 等下载完，直接输入问题测试。如果显存不够，加 `--num-gpu-layers 0` 强切CPU。
- 想调参数？用 `Modelfile` 改温度（Temperature 0.7）、上下文长度（8K起步）。

最后说个坑：别信网上的“免配置版”，很多是阉割模型。正经部署就得直面CUDA版本、Python环境这些破事。但弄好了，离线聊天、写代码、翻译，真香！

**提问**：你们本地跑LLM时，遇到最离谱的bug是啥？是显存爆炸，还是模型输出乱码？来聊聊！

欢迎光临闲社 (https://www.xianshe.com/)