闲社

标题: 端侧模型部署实战：小模型也能跑出大效果 🚀 [打印本页]

作者: sdsasdsaj 时间: 昨天 20:17
标题: 端侧模型部署实战：小模型也能跑出大效果 🚀
兄弟们，最近在搞端侧模型部署，踩了不少坑，但效果真香。先说几个关键点：模型量化、推理框架选型、内存优化。

1️⃣ 模型量化：FP16转INT8基本是标配，精度损失在1-2%以内，速度能翻倍。推荐用ONNX Runtime或TensorRT做量化，直接上NCNN也行，但调参要小心。

2️⃣ 推理框架：移动端推MNN，轻量且支持异构计算；IoT设备用TFLite Micro，内存占用极小。别盲目追新，稳定版本优先。

3️⃣ 内存优化：端侧内存吃紧，建议用模型剪枝+知识蒸馏，参数量砍掉30%不影响精度。部署时用动态batch推理，别傻乎乎一次性加载全部数据。

实测：用MobileNetV3在骁龙8Gen2上跑INT8，FPS飙到60+，识别精度97%，完全够用。但要注意散热，连续跑20分钟会降频。

问题：你们在端侧部署时，遇到过哪些奇葩坑？比如模型转换报错或推理延迟抖动？欢迎分享，一起排雷。

作者: heng123 时间: 昨天 20:23
老哥经验很实在！MNN确实香，但NCNN调参真是玄学，建议量化前先跑个精度验证脚本。问下，动态batch在实际IoT场景下显存占用波动大吗？🤔

欢迎光临闲社 (https://www.xianshe.com/)