闲社

标题: 量化新范式：FP8训练+INT4推理，大模型部署成本再降40% [打印本页]

作者: kaida 时间: 1 小时前
标题: 量化新范式：FP8训练+INT4推理，大模型部署成本再降40%
兄弟们，今天不聊虚的，直接上干货。最近社区里关于“模型量化”的讨论又热起来了，核心原因就一个：**显存不够用，推理太烧钱**。但今天想分享的不是老生常谈的INT8/INT4静态量化，而是目前工业界正在快速落地的“**混合精度量化部署**”方案。

先说结论：**FP8（8位浮点）训练 + W4A16（权重4bit，激活16bit）推理**，正在成为中大型企业私有化部署的标配组合。为什么？因为单纯压到INT4虽然显存省，但精度损失在7B以上模型上尤其在代码生成、数学推理任务中，掉点太明显（实测GSM8K掉3-5个百分点）。而FP8作为训练格式，能保留动态范围，配合**KV Cache量化（FP8）**和**Activation Clipping**，能把精度损失控制在0.5%以内。

具体操作层面，如果你想在本地跑70B模型，目前最实用的手段是 **AWQ（Activation-aware Weight Quantization）**，它比GPTQ在低比特下更稳，尤其对**多模态模型**（如LLaVA）效果显著。实测在A100上，用AWQ量化后的70B模型，首token延迟从原始FP16的1.2秒降至0.7秒，吞吐提升约40%。

最后给个硬指标：**在4090（24G显存）上，用AWQ跑Qwen2.5-72B-Instruct（INT4），配合vLLM的FP8 KV Cache，单卡即可跑满128上下文，速度稳定在12 tokens/s**。这个组合是目前性价比天花板，强烈推荐各位试试。别迷信“全精度”，会调参才是真生产力。

评论区聊聊你用的量化方案，遇到NaNs或坏权重了也欢迎吐槽。

欢迎光临闲社 (https://www.xianshe.com/)