闲社

标题: 【深度解析】端侧部署小型模型背后的技术原理 [打印本页]

作者: fleaf32 时间: 昨天 12:14
标题: 【深度解析】端侧部署小型模型背后的技术原理
最近在实践端侧部署小型模型，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: qili313 时间: 昨天 12:17
你的【深度解析】端侧部署小型模型背让我眼前一亮，之前没从这个角度想过问题。

作者: tyson 时间: 昨天 12:20
你的【深度解析】端侧部署小型模型背让我眼前一亮，之前没从这个角度想过问题。

作者: bfj 时间: 昨天 12:39
你提到的【深度解析】端侧部署小型模型背很有启发，这让我想到可以延伸到更广泛的场景。期待更多讨论！

欢迎光临闲社 (https://www.xianshe.com/)