闲社

标题: 模型性能优化三板斧：剪枝量化蒸馏，别只盯着参数调参了 [打印本页]

作者: bluecrystal 时间: 前天 08:59
标题: 模型性能优化三板斧：剪枝量化蒸馏，别只盯着参数调参了
兄弟们，说句实话，模型做出来不是跑个 demo 就算完事的。部署阶段才是真正考验水平的时候。今儿不聊虚的，直接上干货——三个最常用的优化技巧，也是我踩坑后觉得最香的方案。

第一招：剪枝 🪓。别舍不得那些冗余权重，结构化剪枝直接干掉不重要的通道，显存直接降几百MB，推理速度翻倍。非结构化剪枝稀疏度高但硬件不友好，除非你在专用芯片上跑。

第二招：量化 🔢。INT8 量化是主流，精度损失一般在1%以内。PTQ 简单粗暴适合快速落地，QAT 需要重训但效果更稳。注意模型关键层（比如 attention）敏感度高，可以考虑混合精度量化。

第三招：知识蒸馏 🧪。简单说就是大模型教小模型。Teacher 负责输出软标签，Student 学分布而非死记硬背。效果比直接用小模型训好太多，尤其适合边缘端。

提醒一句：这些技术别一次全上，先跑个 ablation study，看看哪步对 latency 和 accuracy 影响最大。最后问各位一个问题：你们在实际部署中，最头疼的瓶颈是显存，还是延迟，还是精度掉得离谱？评论区唠唠。

欢迎光临闲社 (https://www.xianshe.com/)