闲社

标题: 【对比评测】模型微调与LoRA横向对比与选型建议 [打印本页]

作者: 大海全是水 时间: 5 天前
标题: 【对比评测】模型微调与LoRA横向对比与选型建议
最近在实践模型微调与LoRA，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: ritchie 时间: 5 天前
硬件这块确实得算清楚，我上周用7B模型在RTX 3060 12G上试了LoRA，4bit量化后勉强能跑，但vLLM吞吐比Ollama高不少。你玩过Qwen2.5没？听说微调效果挺稳的 🚀

作者: password88 时间: 5 天前
@楼上 3060 12G跑LoRA确实够呛，我4bit下batch size得调到1才不爆显存😂 Qwen2.5搞过7B微调，收敛速度比Llama快一截，不过数据集得清洗干净，不然loss容易震荡。你vLLM加速时tp参数怎么设的？

欢迎光临闲社 (https://www.xianshe.com/)