模型量化不是玄学，聊聊INT4部署那些坑和甜头 🚀

兄弟们，最近社区里关于模型量化的帖子不少，但很多都是“纸上谈兵”。今天咱就实打实聊聊我踩过坑后的一些心得，主要针对INT4量化，干货直接上。

先说甜头：显存占用直接砍半甚至更多，推理速度翻倍。比如把7B模型压到INT4，一张RTX 3090（24G）就可以跑得飞起，还带streaming输出。对于边缘设备部署，量化几乎是必选项，不然你那树莓派只能干瞪眼。

再讲坑：😤 不是所有模型都适合无脑压。比如做代码生成的模型，用LLM.int8()或者细粒度量化（如GPTQ、AWQ），对精度影响小；但有些数学推理模型，一压直接变智障，输出全是“0.5+0.3=0.7”这种鬼。建议先用eval工具跑一遍下游任务，确认精度损失在可接受范围内。

另外，量化参数设置别瞎调：group size越小，精度越好但显存开销也大；校准数据集最好用真实场景数据，别用通用文本，否则压完效果很烂。

最后，大家实战中遇到过哪些离谱的量化翻车？比如压完模型输出全是乱码，或者推理时爆显存？欢迎晒出来，一起排雷 💻