闲社

标题: 三周微调Lora踩坑实录：这些坑你别再踩了 💥 [打印本页]

作者: mo3w 时间: 昨天 14:48
标题: 三周微调Lora踩坑实录：这些坑你别再踩了 💥
兄弟们，最近在搞一个垂直领域的模型微调项目，用Lora跑了三周，踩了一堆坑，分享一下血泪经验，希望对刚入坑的朋友有点帮助。

先说数据清洗。千万别迷信“数据越多越好”，我一开始上了5万条爬来的数据，结果loss死活降不下去。后来发现很多标注不一致，比如“Yes”和“yes”混用、重复样本太多。最后硬生生砍到8000条高质量数据，效果反而翻倍。结论：数据质量 > 数据量，预处理阶段多花时间，别偷懒。

再说超参调优。我踩的最深的坑是learning rate。一开始照搬社区推荐值1e-4，结果训到一半loss爆炸。后来换成1e-5 + cosine调度，稳定多了。建议新手从1e-5起步，观察loss曲线再微调。rank值也别太大，32以内就够，否则显存会哭。

最后是部署小技巧。微调完的模型用bnb 4bit量化，推理速度提升30%，精度损失几乎感觉不到。记得加个simple prompt模板，别让用户自己写prompt，体验差距很大。

抛个问题：你们在用Lora微调时，遇到过什么诡异的玄学问题？比如loss突然跳变或结果不稳定，来评论区分享，一起避坑。 🔧

欢迎光临闲社 (https://www.xianshe.com/)