端侧部署真香？聊聊跑在手机上的大模型实战经验 🔥

显示全部楼层

最近社区里端侧部署的帖子多了，作为从TensorFlow Lite时代就折腾移动端的老炮，我也来分享点干货。

先说现状：meta的Llama.cpp和Qwen的Android Demo已经让7B级别模型跑通，但量化是关键。实测用4-bit量化（GGUF格式）的Qwen2.5-7B，在骁龙8Gen3上推理速度能到5-6 token/s，聊胜于无。但注意！内存占用依然感人，7B模型大概吃4GB RAM，后台杀进程是常态。

部署技巧：别死磕CPU。用GPU加速（如Mali GPU）能快3-4倍，但驱动兼容性坑多，推荐用llama.cpp的Metal后端。另外，模型剪枝比纯量化更实用，比如用TinyLlama-1.1B做本地写作助理，延迟<200ms，够用。

避坑指南：不要跑大模型的完整推理，搞分片或KV缓存复用。比如聊天场景，缓存前10轮对话的Key-Value，再推理新token，显存暴降30%。

最后问个问题：**你们在端侧部署时，遇到最头疼的问题是内存溢出还是速度？有没有搞过混合推理（端侧+云端）的方案？** 评论区聊聊。