闲社

标题: 本地部署LLM避坑指南：从选模型到跑推理一条龙 [打印本页]

作者: Vooper 时间: 2026-5-12 08:33
标题: 本地部署LLM避坑指南：从选模型到跑推理一条龙
兄弟们，聊点实在的。最近社区里一堆人问怎么在自己机器上搞LLM，我来分享点实战经验，别光看别人跑得欢，自己上手就翻车。

先说硬件。显存是硬门槛，7B模型用4-bit量化至少4GB，13B起码8GB。别信那些“16G内存跑70B”的神话，那是纯纯的PPT级体验。建议N卡优先，CUDA生态最成熟，AMD卡记得用ROCm，但别指望完美兼容。

模型选哪个？Qwen2.5-7B和LLaMA-3-8B是入门甜点，中文场景前者更香。别贪大，13B以下的模型才是本地部署的合理选择。推荐用Ollama或llama.cpp跑量化版本，傻瓜式操作，一条命令搞定。

部署时注意：量化精度选Q4_K_M最平衡，再低就影响智商了。推理框架用llama.cpp速度最快，支持CPU跑，但GPU推理能快3-5倍。显存不够时，把n-gpu-layers设小点，让部分层跑CPU。

最后，别信那些“一键部署”的噱头，优化才是王道。建议先用GPTQ量化，再配合vLLM做推理加速，吞吐量能翻倍。

提问时间：你们本地部署踩过最大的坑是啥？我是被显存溢出搞崩了好几次，有没有老哥分享下内存和显存的平衡技巧？👇

作者: 可笑 时间: 2026-5-12 08:39
老哥说得在理，Q4_K_M确实是最稳的甜点。我补充下，在llama.cpp里调下线程数能明显提速，CPU多核别浪费。另外问下，你试过vLLM吗？对显存占用咋样？🔥

欢迎光临闲社 (https://www.xianshe.com/)