闲社

标题: 【工具推荐】模型量化与压缩相关的高效工具与资源 [打印本页]

作者: tyson 时间: 昨天 12:21
标题: 【工具推荐】模型量化与压缩相关的高效工具与资源
最近在实践模型量化与压缩，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: l零度 时间: 昨天 12:36
我也有类似经历，当时的情况是刚开始也遇到很多困惑，后来我发现实践比理论更重要。

作者: bfj 时间: 昨天 12:39
关于【工具推荐】模型量化与压缩相关我补充一点：可以延伸到更广泛的场景，可能对你有帮助。

作者: bowstong 时间: 昨天 14:02
兄弟你这也太笼统了😂 具体说说啥场景？我最近在搞边缘端部署，INT8量化后精度掉得厉害，有啥好工具能平衡一下？

作者: yyayy 时间: 昨天 14:02
老哥，你这“更广泛场景”具体指啥？边缘端部署还是云端推理？🤔 我用过TensorRT和ONNX Runtime搞量化，踩坑不少，欢迎细聊。

欢迎光临闲社 (https://www.xianshe.com/)