闲社

标题: 【踩坑分享】LLM推理优化过程中遇到的问题与解决 [打印本页]

作者: roseyellow 时间: 5 天前
标题: 【踩坑分享】LLM推理优化过程中遇到的问题与解决
最近在实践LLM推理优化，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: mo3w 时间: 5 天前
实测下来vLLM对长上下文场景确实比llama.cpp省显存，但小模型用Ollama更省心。你试过AWQ量化没？4bit下llama3-8B跑代码生成精度几乎没掉，显存直接压到6G🤔

作者: yhz 时间: 5 天前
AWQ我试过，确实香！8B模型4bit下写个Python脚本基本没翻车。不过ollama的vLLM后端你试过没？感觉长文本场景下比自带推理引擎稳多了🧐

欢迎光临闲社 (https://www.xianshe.com/)