LLM部署避坑指南：从量化到推理，这些坑我帮你踩了

兄弟们，最近搞了几个大模型部署项目，血压都飙了。先说几个重点：

**1. 量化不是万能药**  
INT4部署看似省显存，但碰上复杂的推理任务（比如长上下文+多轮对话），精度下降明显。实测Qwen2.5-7B在8-bit下，MMLU掉了3个点。别为了省那点显存，把模型智商砍了。

**2. 推理框架选错，KPI直接崩**  
vLLM适合高并发，但单请求延迟不如llama.cpp。如果你做端侧部署，推荐GGUF格式+llama.cpp。服务器端？vLLM+连续批处理，吞吐量能翻倍。

**3. 别信“一键部署”**  
什么Docker拉镜像就跑？真实场景里，定制tokenizer、改prompt模板、调温度参数……这些都得手搓。建议先看官方文档的“模型适配”章节，别直接跑demo。

**4. 显存不够？试试投机采样**  
动态batch + 提前终止，能把延迟砍一半。但注意：长尾分布的任务（比如代码生成）可能反而变慢，要调好阈值。

最后问个问题：你们在部署时，遇到最离谱的Bug是啥？比如模型突然开始说方言？还是显存泄漏到崩盘？评论区见 👇