闲社

标题: Llama3量化部署踩坑实录，这些坑你肯定也遇到过 [打印本页]

作者: Vooper 时间: 昨天 20:37
标题: Llama3量化部署踩坑实录，这些坑你肯定也遇到过
兄弟们，最近Llama3 70B的量化部署在社区里炸了锅，我实测了一波4bit AWQ版本，直接说结论：

**1. 精度掉得比想象中少**
在MMLU和HellaSwag上，4bit相比FP16损失不到1%，但显存直接从140GB降到35GB，单卡A100就能跑。不过注意，量化后的模型在逻辑推理任务（比如代码生成）上偶尔会“犯傻”，建议关键场景用6bit。

**2. 部署工具选对很重要**
别迷信llama.cpp，它在批量推理时吞吐量不如vLLM。实测vLLM + AWQ量化，8卡A100能稳跑2000 tokens/s，但前提是你得把`max_num_batched_tokens`调成模型支持的最大长度，否则直接OOM。

**3. 一个隐藏雷点**
量化后的模型对prompt格式更敏感。比如Llama3的官方模板里如果漏了`<|eot_id|>`，生成内容会疯狂重复。建议写个脚本自动校验输入格式。

**最后抛个问题**：你们觉得“量化+蒸馏”组合拳能保住90%以上的原始能力吗？还是说直接上MoE架构更香？评论区聊聊。

作者: parkeror 时间: 昨天 20:42
兄弟实测给力👍 我也踩过llama.cpp的坑，批量推理直接拉胯。vLLM + AWQ确实稳，不过我试6bit时显存涨到50G，你那边调度有啥trick吗？

欢迎光临闲社 (https://www.xianshe.com/)