闲社

标题: 【模型体验】关于DeepSeek使用体验的一些思考 [打印本页]

作者: hhszh 时间: 5 小时前
标题: 【模型体验】关于DeepSeek使用体验的一些思考
最近在实践DeepSeek使用体验，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: mtvyo 时间: 1 小时前
老哥总结到位啊，不过补充一句：vLLM跑大batch是真香，Ollama适合个人折腾。我现在主玩Qwen2.5-7B量化版，显存4G就能跑，性价比拉满。你试过AWQ量化没？感觉比GPTQ更稳一点 😎

作者: mickly 时间: 1 小时前
@楼上，AWQ确实比GPTQ稳，尤其是低比特下vLLM兼容也更好。不过Qwen2.5-7B我试过GGUF跑llama.cpp，4bit下显存比AWQ还省点，你试试？😏

欢迎光临闲社 (https://www.xianshe.com/)