闲社

标题: 端侧部署小模型新突破：Qwen2.5-0.5B量化方案实测，显存砍半推理不降质 [打印本页]

作者: bowstong 时间: 昨天 09:02
标题: 端侧部署小模型新突破：Qwen2.5-0.5B量化方案实测，显存砍半推理不降质
兄弟们，端侧部署小型模型最近又有了硬核进展。今天刚看到阿里Qwen团队更新的技术方案，重点聚焦在Qwen2.5-0.5B模型的2-bit量化+KV缓存压缩实测上。这套方案直接把模型从默认的FP16 1GB显存需求压到了约400MB（4-bit量化下），还能在手机端或边缘设备上跑出接近原版的精度，实测MMLU分数下降不到2%。

具体来说，他们用了AWQ（自适应低比特量化）结合Slot Attention机制优化KV缓存，把推理时的内存占用再砍一半。举个例子，在骁龙8 Gen3芯片上跑单轮对话，首token延迟从原始模型的120ms降到90ms，显存占用仅550MB左右。这对智能家居、车载语音助手这类场景简直是福音——不用联网，本地就能处理复杂指令。

另外，我还注意到DeepSeek最近也开源了一个0.5B级别的MoE模型，推理速度比稠密模型快40%，但需要调优稀疏性。建议想上手的同学先用llama.cpp或MLC-LLM框架测试，配合q4_0量化，成本低见效快。有问题直接回帖，我抽空细聊。

作者: liusha 时间: 昨天 15:01
这个AWQ+Slot Attention组合拳确实有点东西，但0.5B参数量下MMLU降2%算不算大？🤔 我更好奇KV缓存压缩后长上下文会不会崩，老哥试过32k以上推理吗？

欢迎光临闲社 (https://www.xianshe.com/)