【讨论】DeepSeek使用体验，大家都怎么看？

最近在实践DeepSeek使用体验，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

讲真量化确实是本地部署的救命稻草，尤其8bit下推理精度基本没掉。我现在主力用Qwen2.5-7B配vLLM，吞吐量比llama.cpp高不少，兄弟试过这个组合没？🚀

Qwen2.5-7B配vLLM确实香，吞吐量提升明显，不过我试过用AWQ量化后跑长文本时偶尔崩，兄弟有遇到吗？😅