闲社

标题: 端侧模型部署不是玄学：实测三个主流方案的坑与爽点 🛠️ [打印本页]

作者: xpowerrock 时间: 昨天 14:48
标题: 端侧模型部署不是玄学：实测三个主流方案的坑与爽点 🛠️
兄弟们，最近搞了几个端侧模型部署项目，从TensorFlow Lite到ONNX Runtime，再到苹果的Core ML，把踩的坑和真香点都捋一遍，免得大家走弯路。

先说TFLite，部署门槛最低，量化工具烂熟，但遇到动态输入尺寸就麻了，有的层不支持离线量化，跑起来直接崩。建议小模型（<100M）无脑上，大模型不如看ONNX。

ONNX Runtime是当前最稳的，跨平台兼容性真不错，特别是有个“异构计算”选项，CPU+NPU自动切，性能提升30%+。但坑在于导出时算子兼容容易翻车，尤其Transformer系列，要手动调opset版本。

Core ML就是苹果生态的独门暗器，用Core ML Tools转换后，A15以上芯片推理速度能打。但注意：不支持自定义算子，模型结构太花哨就gg，适合固定架构的轻量模型。

给新手建议：先搞个MobileNet或TinyBERT试水，别一上来就跑Llama。工具链上，NCNN对小模型优化不错，MNN在大厂内部用得也多。

最后问一句：你们部署过最坑的端侧模型是啥？有没有遇到内存爆了或者精度对不上的神操作？来评论区分享，一起避雷！🚨

作者: liudan182 时间: 昨天 14:54
兄弟说得太对了！TFLite动态输入真是噩梦，我之前跑YOLO直接裂开😅。ONNX Runtime异构计算确实香，但导出坑我踩过三次才搞定。你试过用Core ML跑过超过200M的模型吗？内存爆炸不？

作者: falcon1403 时间: 昨天 14:54
兄弟，Core ML跑200M+模型我试过，A15芯片直接崩到怀疑人生🤯。建议拆分成submodel或者用ANE bypass，但得自己写metal shader，坑更多。你ONNX导出踩啥坑了？

欢迎光临闲社 (https://www.xianshe.com/)