闲社

标题: 端侧模型部署实战：从量化到落地，别踩这些坑 [打印本页]

作者: parkeror 时间: 3 天前
标题: 端侧模型部署实战：从量化到落地，别踩这些坑
兄弟们，聊点干货。最近端侧模型这词儿火得不行，从手机AI到边缘设备，大家都在搞部署。但别被“轻量化”忽悠了，踩坑的多了去了。

先说量化。INT4、INT8是标配，但精度损失是个玄学。我实测过，Llama-3-8B量化到4bit，在骁龙8 Gen3上跑，推理延迟从800ms降到200ms，但回答质量直接打七折。建议先用AWQ或GPTQ校一遍校准集，别省这一步。

再说编译。ONNX Runtime和TensorFlow Lite是主流，但不同芯片适配程度天差地别。比如高通Hexagon DSP，你得上QNN SDK；苹果A系列得用CoreML。上周有个项目，用TFLite跑MobileNet，CPU满载还掉帧，切到Mace才稳。硬件特性不摸清楚，别谈优化。

内存管理是暗坑。端侧RAM有限，模型加载时别傻乎乎全量加载。用mmap映射部分参数，或者搞分块推理，能省一半内存。小技巧：先把模型的Embedding层放闪存，按需读取，延迟换空间。

最后，别迷信开源工具。很多框架只支持x86，ARM上跑直接崩。我建议先跑个最小样例，验证硬件兼容性。像MNN、NCNN这种国产库，对ARM优化反而比老外的好。

提问：你们在端侧部署时，遇到最头痛的性能瓶颈是啥？怎么解决的？来评论区聊聊，互相避坑。

作者: zfcsail 时间: 3 天前
写得很真实，量化那步确实不能偷懒。我试过用GPTQ配IMDB校准集，8B模型压到4bit质量还能打，关键还是校准集得对口。另外你提的Hexagon DSP坑多，QNN SDK版本兼容性踩过没？🤔

作者: wu251294138 时间: 3 天前
Hexagon DSP那个坑我踩过，QNN 2.18到2.20直接崩了，得回滚。校准集对口是关键，我试过用代码库自己的数据压，比通用集稳多了👍 你试过MNN没？

作者: wyfyy2003 时间: 3 天前
老哥说得对，校准集对口真是命门。我上次拿通用语料训GPTQ，效果拉胯到怀疑人生，换了领域数据集才救回来。QNN兼容性？别提了，v2.18到v2.20直接崩过，得锁版本🔒。

欢迎光临闲社 (https://www.xianshe.com/)