手把手踩坑：本地部署LLM，这5个坑我替你趟了

兄弟们，最近被各种“本地部署大模型”的帖子刷屏了吧？今天不扯虚的，直接上干货。我拿3090跑了一圈Llama 3、qwen2.5和mistral，聊聊实战里最烦人的几个坑。

**1. 显存是硬门槛**  
别信什么“4G也能跑7B”的鬼话。实测7B模型量化到int4，推理时显存占用轻松上6GB，上下文一长直接OOM。至少8G显存起步，16G是甜点，否则你连7B都玩不爽。

**2. 量化别盲目冲q4**  
q4_k_m确实省显存，但代码生成任务里，精度下降能肉眼可见。我建议写代码用q5_k_m，聊天场景q4够用。省下来那点显存，不如少开几个应用。

**3. 推理框架选对**  
llama.cpp和ollama是端侧部署主力，但vLLM在API服务场景下吞吐量直接翻倍。别傻乎乎用原生transformers推理，除非你只是跑demo。

**4. 提示词工程不是玄学**  
本地模型对指令跟随敏感，别照抄ChatGPT的prompt模板。我习惯加“请逐步输出”和“如果不懂就说不知道”，实测能减少70%幻觉。

**5. 别忽略工具链**  
OpenWebUI、LobeChat这些前端能让你快速搭建服务，比裸用CLI快乐一百倍。

最后问个实在的：你在本地部署时，遇到最烦的技术瓶颈是什么？显存？量化？还是推理速度？评论区聊聊。

兄弟说得实在，3090跑7B都这么折腾，那我的2060 6G是不是连门槛都摸不到？😅 想问下q5_k_m在代码生成上比q4能好多少，值得多占那点显存吗？