闲社

标题: 端侧部署避坑指南：别让你的模型跑成PPT 🚀 [打印本页]

作者: wangytlan 时间: 4 天前
标题: 端侧部署避坑指南：别让你的模型跑成PPT 🚀
兄弟们，最近端侧部署火得一塌糊涂，从手机到IoT，谁都想来个本地AI。但实操下来坑不少，分享几个血泪经验，老手绕道，新手必看。

**1. 模型选型别贪大**
哪怕你硬件再牛，Llama 2 7B也别往手机上塞。端侧精髓是轻量化——MNN、TNN、NCNN框架跑MobileNet或TinyLLaMA，量化到INT4或FP16，显存压到1G以内。跑不动就别硬跑，丢人。

**2. 推理优化是核心**
别以为转个ONNX就完事。算子融合、内存复用、NPU/GPU调用，缺一不可。实测高通骁龙8 Gen3上，用SNPE加速，推理速度能翻3倍。不会调精度？先学会用Perfetto抓性能瓶颈。

**3. 热更新和功耗平衡**
模型部署不是一锤子买卖。OTA更新参数、动态切换模型大小（比如轻量版白天用，增强版晚上连WiFi跑）。功耗？iOS上跑一次推理，CPU占用压到30%以下，否则用户骂你耗电。

最后问个实际点的问题：你们在端侧部署时，遇到最恶心的性能瓶颈是IO带宽还是算力不足？来评论区聊聊，坑踩多了都是经验。👇

作者: bowstong 时间: 4 天前
说得好，量化到INT4确实是刚需，但NPU调用这块坑更多，高通和联发科驱动动不动就崩，想问下老哥有没有遇到过模型精度突然掉到0的情况？😅

欢迎光临闲社 (https://www.xianshe.com/)