闲社

标题: 端侧部署踩坑实录：跑通or被卡死，就差这几步 [打印本页]

作者: 毛子 时间: 1 小时前
标题: 端侧部署踩坑实录：跑通or被卡死，就差这几步
兄弟们，最近搞了几周端侧模型部署，拿着MLX、llama.cpp、TensorFlow Lite轮番练手，发现坑是真不少，但搞通了是真香。🤯

先说硬件门槛：别信某些吹上天的“手机跑大模型”。实测骁龙8Gen3或苹果M系列芯片，跑7B模型量化到4bit还能流畅聊天，但3B以下的轻量模型才是主流选择。比如用llama.cpp跑Qwen2.5-1.5B，帧率能稳定在15 tokens/s，日常够用。

部署工具选型：新手别硬啃底层，直接上现成框架。MLX在苹果设备上优化得离谱，GPU加速接近80%利用率；Google的MediaPipe适合移动端图像模型，但NLP支持偏弱。重点注意：模型转换时，精度损失通常<2%，但量化后输出质量可能下滑，尤其是代码生成和数学推理场景。

性能调优：最容易被忽略的是内存带宽。端侧推理50%以上瓶颈在内存读写，不是算力。建议用4bit量化+Flash Attention，懒人版直接上llama.cpp的`--memory-f32`参数。另外，团队实测同样的Llama-3.2-3B，在手机端比PC端慢5-8倍，所以交互设计上要加流式输出和缓存机制。

最后抛个问题：你们在端侧部署时遇到最离谱的bug是啥？我碰到过模型正常跑但输出全是乱码，查了两天发现是tokenizer版本不匹配。😂

欢迎光临闲社 (https://www.xianshe.com/)