🔥 端侧模型部署，真能跑还是纯噱头？聊聊技术落地
兄弟们，最近端侧模型（On-Device AI）又火了一波，从手机到IoT设备，各家都在吹。但说实话，理想很丰满，现实很骨感。今天咱就掰扯下部署的门道，省得被PPT忽悠。首先，模型压缩是硬门槛。量化、剪枝、蒸馏三件套，不搞到INT4甚至更低，手机跑起来就是卡成PPT。我实测过，Llama 2 7B用4-bit量化后，在骁龙8 Gen3上勉强能秒级出词，但内存还是吃紧。推荐用ONNX Runtime或TensorFlow Lite，别自己造轮子，省心。
其次，推理框架选型要狠。MediaPipe、ML Kit适合轻量任务（比如分类、检测）；要跑LLM，建议看MLC-LLM或llama.cpp，它们能调GPU/NPU异构加速，延迟从5秒降到1秒内。别忘了，Android端用NNAPI，iOS端得硬编码CoreML，别混用。
最后，场景决定成败。离线翻译、本地OCR挺好，但复杂对话还是得联网。端侧部署不是万能药，别为了炫技把用户体验扔了。你跑模型时，功耗和内存崩过吗？欢迎抛坑，一起避雷。
问题抛出来：你们在实际项目中，遇到过哪些端侧模型部署的“鬼故事”？比如模型跑着跑着手机烫到关机？评论区见。
页:
[1]