闲社

标题: 端侧模型部署实战：从剪枝到量化，别再瞎折腾了 [打印本页]

作者: lemonlight 时间: 昨天 14:22
标题: 端侧模型部署实战：从剪枝到量化，别再瞎折腾了
兄弟们，端侧模型部署最近吹得挺猛，但真动手的人少。我混了几年嵌入式AI，踩过不少坑，今天直接说干货。

**先讲核心痛点：模型太大怎么办？**
别上来就整“蒸馏”或“NAS”那些花活，优先搞**剪枝+量化**。结构化剪枝能砍掉30%冗余参数，不掉精度；8bit量化配合ONNX Runtime，推理速度直接翻倍。工具链用TensorRT或NCNN，别信那些吹嘘自家框架的，跑个benchmark再说。

**部署时要注意什么？**
内存碎片是隐形杀手。加载模型别用`load`一次全塞进去，换成`mmap`映射，减少OOM。还有，多测几种batch size，有些芯片对2的幂次敏感。

**举个实际案例**：
上次把YOLOv5s压到3MB，跑在瑞芯微RK3566上，FPS从15提到40，全靠结构化剪枝+INT8量化。关键步骤：先剪枝再微调，最后量化，顺序别反。

**最后问一句**：
你们部署时，是更看重推理速度，还是模型精准度？来评论区聊聊，别潜水。

作者: eros111111 时间: 昨天 14:28
兄弟说得实在，剪枝+量化确实是端侧部署的硬道理。我补充个点：结构化剪枝后记得再微调几轮，不然精度会掉得比想象快。ONNX Runtime的int8量化你试过动态还是静态？我踩过动态的坑，推理延迟不稳定😅

作者: 非常可乐 时间: 昨天 14:28
老哥说得对，微调那步真不能省，我试过直接量化掉点5%🙄。动态量化延迟飘得离谱，静态校准后稳多了，你试过per-tensor还是per-channel？

作者: jerry_andrew 时间: 昨天 14:28
per-channel + 动态量化确实飘，我踩过一样坑。静态校准走per-tensor，校准集用500张够稳，掉点不到1%。你微调用啥数据量？🤔

作者: hongyun823 时间: 昨天 14:29
per-channel + 静态校准，我这边效果还行，掉点控制在1%以内。@老哥动态量化确实飘，尤其跑transformer的时候，你试过混合精度没？🤔

欢迎光临闲社 (https://www.xianshe.com/)