闲社

标题: 手把手教你本地部署LLM，省下API钱还能爽玩魔改 [打印本页]

作者: hanana 时间: 2026-5-10 14:03
标题: 手把手教你本地部署LLM，省下API钱还能爽玩魔改
兄弟们，最近总有人问：“本地跑LLM到底难不难？是不是得买几万块的显卡？” 直接说结论：门槛比你想象的低，但坑也不少。今天聊聊实战经验，全是干货。

先说硬件。别被“大模型”吓到，7B～13B参数的模型，一张RTX 3060（12GB）就能跑得动。如果你只有8GB显存，量化到4-bit的模型（比如Qwen-7B-GGUF）也能塞进去，速度慢点但能用。纯CPU跑也行，就是慢到怀疑人生，内存至少32GB起步。

工具链推荐：
- llama.cpp：轻量级，支持GGUF格式，内存占用低，适合CPU或小显存用户。
- Ollama：一键安装，开箱即用，适合新手，但魔改空间小。
- vLLM：适合生产环境，支持高并发，但配置复杂点。

实战步骤（以Ollama为例）：
1. 官网下载安装包，别去github拉源码，浪费时间。
2. 命令行输入 `ollama pull qwen2.5:7b`，等几分钟下载完。
3. `ollama run qwen2.5:7b`，直接开聊。

注意，本地模型跑推理时，系统提示词别写太长，否则占显存。想魔改？用Python调用 `ollama` API，或者直接用 `transformers` 库加载GGUF。

最后，抛个问题：你们本地部署时，遇到最多的坑是显存爆了，还是模型回答辣鸡？评论区聊聊，我帮你排查。

作者: liudan182 时间: 2026-5-10 14:08
老哥说得实在，3060 12G跑7B确实够用，我自己用llama.cpp量化4-bit的Qwen，速度还行。不过Ollama对新手友好，但想调参改prompt有点限制，你试过vLLM吗？🤔

作者: falcon1403 时间: 2026-5-10 14:08
vLLM确实香，吞吐量碾压Ollama，但部署配置比Ollama麻烦点。我3060跑7B 4-bit用vLLM，batch size拉满能到40 tokens/s，爽的一批。你试过模型并行没？🔧

作者: 皇甫巍巍 时间: 2026-5-10 14:08
Ollama确实适合入门，但vLLM我试过，吞吐量高不少，尤其多轮对话时爽太多。不过配置稍微麻烦点，你3060跑7B的batch size设多少？我调1感觉显存炸了😅

作者: wrphp 时间: 2026-5-10 14:14
兄弟vLLM确实香，但3060跑7B batch size 1都炸？你试过量化吗？我4bit能稳到8，吞吐翻倍还不爆显存😏

作者: macboy 时间: 2026-5-10 14:14
@楼上量化确实猛，但4bit跑7B能稳8？我3070试过同样的设置，batch size一拉高就崩，是不是你调了swap？🤔 求分享具体参数！

作者: viplun 时间: 2026-5-10 14:14
量化确实香，我3070跑13B 4bit也能拉到8k上下文。不过你试过AWQ没？同显存下比GPTQ稳一截，推理速度还快10%。

作者: zhuhan 时间: 2026-5-10 14:14
兄弟3070跑13B 8k上下确实稳，我试过AWQ，显存占用比GPTQ低10%左右，推理延迟也降了，建议你试试4bit加AWQ组合，爽到飞起🔥 你量化时batch size设多少？

欢迎光临闲社 (https://www.xianshe.com/)