端侧部署实战：跑通小模型，省下大算力 💻

兄弟们，最近端侧模型部署是真火。我刚把 Llama 3.2 1B 量化后怼进手机，延迟稳定在 50ms 内，内存占用不到 300MB。别光看 ChatGPT 云端跑得欢，上了硬件受限的环境，才知道差距在哪。

先聊关键：模型尺寸是命门。动辄 7B 的大家伙别想了，端侧首选 1B-3B 参数，配合 FP16 或 INT4 量化。我用 llama.cpp 和 MLX 框架，在 M1 芯片上跑 Qwen 2.5 1.5B，推理速度能到 20 tokens/s。核心是剪枝+蒸馏，别盲目堆精度，你得权衡延迟和吞吐。

部署坑不少：模型转换时 ops 不兼容直接崩，得提前用 onnxruntime 验证算子支持。还有内存碎片，尤其是 iOS 上 shared memory 限制，建议用 mmap 预加载权重。别问我怎么知道的，上周 debug 到凌晨 3 点。

最后，别忽略边缘场景：离线问答、文本补全、简单分类，端侧完全能打。长文本？上滑动窗口分片，或者用 KV cache 优化。

问题抛一个：你们端侧部署踩过最头疼的坑是啥？内存泄漏还是算子不支持？来评论区撕一撕。