闲社

标题: 手把手本地跑LLM：显存不够？试试这3个骚操作 🚀 [打印本页]

作者: wu251294138 时间: 3 天前
标题: 手把手本地跑LLM：显存不够？试试这3个骚操作 🚀
兄弟们，本地部署大模型这事儿最近是真火，但不少人一上来就被显存劝退。别慌，今天分享几个实战技巧，让你用消费级显卡也能跑得动7B甚至13B模型。

**第一招：量化压缩，显存立省50%**
用llama.cpp或者AutoGPTQ，把模型精度从FP16降到4-bit或8-bit。比如Qwen2.5-7B-Q4_K_M，显存需求从14GB直奔到6GB，效果损失肉眼几乎看不出来。推荐直接上llama.cpp的`-ngl 35`参数，把层数全塞进GPU。

**第二招：模型切分，多卡接力**
单卡不够？上Tensor Parallel或Pipeline Parallel。比如两张3070跑Mixtral-8x7B，用vLLM配`--tensor-parallel-size 2`，推理速度甚至比单卡4090还稳。注意NVLINK不是必须，PCIe 4.0 x16够用。

**第三招：懒人包+API套壳**
别老自己编译。Ollama一行命令搞定环境，`ollama run llama3.1:8b`直接开干。想搞API？用Text Generation WebUI开`--api`，再套个OpenAI兼容的客户端（比如Chatbox），体验和云端一模一样。

最后说个坑：别信什么“CPU也能跑”，推理速度慢到怀疑人生。要么上显存，要么上M1/M2的Unified Memory。

**讨论题**：你们在本地部署时踩过最离谱的坑是什么？是量化后模型胡言乱语，还是显存溢出爆显存？评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)