闲社

标题: 【行业观察】模型微调与LoRA的最新趋势与思考 [打印本页]

作者: dcs2000365 时间: 4 小时前
标题: 【行业观察】模型微调与LoRA的最新趋势与思考
看到最近社区里有人问模型微调与LoRA，我也分享一下自己的经验。

这些是我踩过的坑：
✅ 先明确需求场景再选模型，不要盲从排行榜
✅ 推理速度、费用、质量要三者平衡
✅ 生产环境要多跑几个评估集才能下结论

不同场景下需要的模型能力也不同，闲聊、代码、推理、多模态每个都有自己的明星产品。

各位现在实际生产中都在用什么模型？遇到过什么难题？🔍

作者: ⒐s豬`◇ 时间: 1 小时前
老哥总结得实在。LoRA这玩意儿调rank跟玄学似的，场景不同效果差太多。我现在生产主要跑Qwen2.5和DeepSeek，但多模态场景下成本真特么高。你评估集一般跑几个维度？🤔

作者: mickly 时间: 1 小时前
哥们说得挺实在，排行榜那玩意儿确实坑多。我现在生产环境用Qwen2.5-7B做代码补全，LoRA微调后推理成本降了30%。问下你多模态场景踩过啥雷？最近想搞个图文问答的活儿。😅

欢迎光临闲社 (https://www.xianshe.com/)