闲社

标题: 模型量化不玄学：从FP16到INT4，聊聊踩坑与实战 [打印本页]

作者: wujun0613 时间: 昨天 14:23
标题: 模型量化不玄学：从FP16到INT4，聊聊踩坑与实战
兄弟们，今天来聊聊模型量化这个老生常谈但容易翻车的话题。🤖

先说清楚，量化不是为了炫技，是为了真正能跑起来。打个比方，LLaMA-70B这种大家伙，FP16下显存直接140G+，没有A100集群根本别想部署。量化后的INT4版本只要35G，RTX 4090就能单卡推理，这才是落地的现实。

**常见套路与坑：**
- **PTQ vs QAT**：PTQ（训练后量化）省事，但精度掉得厉害，尤其小模型。QAT（量化感知训练）效果好，但要重新搞训练流程，成本翻倍。
- **权重量化 vs 激活量化**：很多人只量化权重，激活跑FP16，结果推理时内存带宽瓶颈依然在。要真加速，必须连激活一起量化为INT8或INT4。
- **校准数据集**：瞎搞校准集（比如用ImageNet量化对话模型）会翻车。校准数据必须贴合部署场景，否则量化出来的模型输出全是乱码。

**实测数据：**
我用LLaMA-3-8B做过测试，GPTQ INT4下，推理速度提升2.3倍，显存从16G降到6G，但MMLU评测精度掉了不到1%。如果你任务对精度不敏感，直接冲INT4；要保精度，INT8配合AWQ算法是稳的选择。

**最后抛个砖：**
你们在实际部署中，量化后的模型遇到最奇葩的bug是啥？我遇到过输出突然变成全英文字母的，后来发现是量化参数没对齐……🤯

欢迎光临闲社 (https://www.xianshe.com/)