端侧模型部署避坑指南：别让算力成瓶颈

兄弟们，最近端侧模型部署的话题又热起来了。从Whisper到LLaMA.cpp，再到Apple MLX，大家都在往手机、笔记本上塞模型。但说实话，现实很骨感，我来聊聊几个实操中必踩的坑。

**1. 量化不是万能药 🧪**
很多人以为INT4量化就能万事大吉，结果精度掉成狗。实测下来，7B模型在M1设备上跑4bit，对话流畅度还行，但数学推理直接崩。建议先跑perplexity评估，别迷信量化后的“小体积”。

**2. 内存瓶颈才是爹 📉**
端侧最大的敌人不是GPU，是共享内存。比如Snapdragon 8 Gen3，虽然NPU算力强，但和CPU/GPU抢带宽时，推理速度能掉到10 tokens/s以下。选模型时得算清楚：模型大小×参数量是否小于可用内存的80%。

**3. 算子兼容性暗坑 ⚡**
别以为ONNX就通用。比如MPS后端对某些LayerNorm实现有bug，得手动改图。建议用CoreML或TFLite原生支持，否则调试时间比训练都长。

**4. 真实场景与基准测试差距 🎯**
网上那些“秒级推理”的demo，大多是单batch、小序列长度。实际跑长上下文对话，比如把2000 token的历史加载进去，延迟直接翻倍。你的用户场景是什么？

**问题讨论：**
大家觉得，对于6B以下模型，是优先用NPU加速（如高通SNPE），还是通用CPU推理（如llama.cpp）更靠谱？评论区说说你的实际部署经验。