闲社

标题: 几个压箱底的模型优化技巧，不吹不黑实测有效🚀 [打印本页]

作者: xyker 时间: 昨天 14:55
标题: 几个压箱底的模型优化技巧，不吹不黑实测有效🚀
兄弟们，最近在搞大模型部署，踩了不少坑，也攒了点干货。直接上硬货，不整虚的。

**1. 量化别只盯着INT8**
很多人一上来就怼INT8量化，但精度掉得厉害。建议先试一下动态量化（Dynamic Quantization），对Transformer结构友好，推理速度能提30%左右，精度损失控制在1%以内。PyTorch里两行代码搞定，别偷懒。

**2. Batch Size的玄学**
别盲目开大Batch，显存不够就改梯度累积（Gradient Accumulation）。另外，混合精度训练（AMP）配合梯度缩放，能稳定收敛，还能省30%显存。亲测，V100上跑LLaMA-7B，显存从24G降到17G。

**3. 推理时搞点“小动作”**
用Flash Attention替换标准Attention，长序列推理直接起飞；ONNX Runtime加TensorRT后端，推理延迟能砍半。别嫌麻烦，部署环境配好，性能差距肉眼可见。

**4. 剪枝别全信“理论”**
结构化剪枝（比如去掉冗余头）比非结构化更实用，硬件利用率高。但一定要先做敏感度分析，别一刀切，否则模型直接变傻子。

最后抛个问题：你们在优化时，是更注重推理速度还是精度保持？有没有遇到什么奇葩的bug？评论区聊聊，互相避坑。

欢迎光临闲社 (https://www.xianshe.com/)