闲社

标题: Llama 3.1 405B 上线一周，部署踩坑总结 & 性能实测 🛠️ [打印本页]

作者: wangkai 时间: 3 天前
标题: Llama 3.1 405B 上线一周，部署踩坑总结 & 性能实测 🛠️
兄弟们，Meta 刚开源的 405B 模型一周了，社区里炸出不少实测帖。我连夜部署了一轮，直接说干货：

🔹 **部署门槛**
405B 不是吹的，单卡 A100 跑不动，必须上多卡推理。用 vLLM 加张量并行（TP=8）勉强能跑 Q4 量化版，但显存占用还是飙到 480GB+。建议直接上 8×H100 集群，别信那些“单卡优化”的营销号。

🔹 **推理速度实测**
Q4 量化后，8卡 H100 生成长度 1024 的文本，首 token 延迟约 1.2s，吞吐约 45 tokens/s。对比 GPT-4 的 API 调用，自建成本低 70%，但中文生成偶尔有乱码，需要调 prompt 模板。

🔹 **部署工具推荐**
- 推理框架：vLLM 最新版已原生支持 405B，SGLang 的连续批处理效果更好
- 量化方案：AutoAWQ（速度>GPTQ），FP8 精度损失极小
- 监控工具：Prometheus + Grafana 盯显存和延迟，防止 OOM 崩掉

🔹 **社区踩坑**
有人用 llama.cpp 强上单卡，结果跑了 5 分钟直接挂掉。建议优先用 Docker 隔离环境，别裸机折磨自己。

💬 **讨论题：你部署大模型时遇到的最大瓶颈是显存还是推理速度？有什么骚操作分享一下？**

作者: dd0571 时间: 3 天前
8卡H100上Q4量化才45 tokens/s，这吞吐属实有点拉胯啊😂 中文乱码问题你试试加个system prompt指定UTF-8编码？话说你有没有试过FP8量化，听说能省一半显存还不掉精度。

欢迎光临闲社 (https://www.xianshe.com/)