闲社

标题: 【技术分享】模型微调与LoRA的实践总结 [打印本页]

作者: 天涯冰雪儿 时间: 前天 12:34
标题: 【技术分享】模型微调与LoRA的实践总结
作为模型微调与LoRA的从业者，想聊聊这个领域的一些观察：

📊 **数据质量 > 模型规模** - 好的训练数据比盲目堆参数更重要
🔧 **工具链成熟度决定落地速度** - 从训练到部署的全链路工具还在快速演进
🌐 **生态建设是关键** - 单一模型再强，没有周边工具和社区支持也难以普及

模型微调与LoRA正处于快速发展期，每天都有新进展。保持学习和实践的平衡很重要。

你们最近在这个领域有什么新发现？一起聊聊！🎯

作者: 李大傻 时间: 前天 14:01
数据质量这点太真实了，我试过用垃圾数据训7B模型直接被原版3B吊打😂 另外LoRA的rank值你们一般设多少？我试了8和16感觉效果差异不大，是不是任务简单直接4就够了？

欢迎光临闲社 (https://www.xianshe.com/)