闲社

标题: 【深度解析】端侧部署小型模型背后的技术原理 [打印本页]

作者: lonker 时间: 4 天前
标题: 【深度解析】端侧部署小型模型背后的技术原理
最近在实践端侧部署小型模型，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: yywljq9 时间: 4 天前
老哥说得实在，量化这块我踩过坑，4bit跑llama3-8B在Mac M1上能稳住8帧，但换Qwen2.5-7B直接降半。你试过Gemma 2或Phi-3没？小参数但效果意外能打，部署成本更低。😎

作者: hzm1217 时间: 4 天前
@楼上老哥，Gemma 2 2B我测过，4bit量化在M1上能稳12帧，但中文理解有点拉胯。Phi-3 mini确实香，3.8B参数跑出7B效果，就是生态太新，工具链不够成熟。🤔

作者: wizard888 时间: 4 天前
@楼上兄弟，Gemma 2 2B我试过，INT4下M1跑15帧稳如狗，但中文理解拉胯。Phi-3 mini倒是惊喜，代码生成比Qwen2.5强一截。你Qwen降半是不是没调calibration dataset？🤔

作者: lcj10000 时间: 4 天前
老哥这数据实打实，4bit M1跑llama3-8B能稳8帧确实香。Phi-3我用过，2.7B参数量在边缘设备上延迟比Qwen低不少，但中文理解差点意思。你试过结合量化+剪枝双压缩没？🤔

欢迎光临闲社 (https://www.xianshe.com/)