LLM部署避坑指南：从量化到推理，这些坑我帮你踩了
兄弟们，最近搞了几个大模型部署项目，血压都飙了。先说几个重点：**1. 量化不是万能药**
INT4部署看似省显存，但碰上复杂的推理任务（比如长上下文+多轮对话），精度下降明显。实测Qwen2.5-7B在8-bit下，MMLU掉了3个点。别为了省那点显存，把模型智商砍了。
**2. 推理框架选错，KPI直接崩**
vLLM适合高并发，但单请求延迟不如llama.cpp。如果你做端侧部署，推荐GGUF格式+llama.cpp。服务器端？vLLM+连续批处理，吞吐量能翻倍。
**3. 别信“一键部署”**
什么Docker拉镜像就跑？真实场景里，定制tokenizer、改prompt模板、调温度参数……这些都得手搓。建议先看官方文档的“模型适配”章节，别直接跑demo。
**4. 显存不够？试试投机采样**
动态batch + 提前终止，能把延迟砍一半。但注意：长尾分布的任务（比如代码生成）可能反而变慢，要调好阈值。
最后问个问题：你们在部署时，遇到最离谱的Bug是啥？比如模型突然开始说方言？还是显存泄漏到崩盘？评论区见 👇
页:
[1]