闲社

标题: LoRA微调踩坑实录：从爆显存到准工业部署的干货 [打印本页]

作者: liusha 时间: 2026-5-11 08:07
标题: LoRA微调踩坑实录：从爆显存到准工业部署的干货
兄弟们，这周搞了个LLaMA-3的领域微调，踩了几个坑，分享一下止血经验，直接上干货。

**爆显存？别硬刚**
别一上来就整全量微调，那玩意儿除非你有A100集群。老老实实LoRA，rank=16起步，batch_size调小到4或8，gradient_accumulation_steps开到8，基本能稳住。如果还爆，试试QLoRA的4bit量化，效果稳得一批。

**数据集清洗是地狱**
我拿2000条行业标注数据喂，结果模型崩了——仔细一看，标注里有50条“答非所问”的脏数据。记住：清洗比调参重要10倍。去重、格式化、检查标签分布，别偷懒。

**评估别只看loss**
Loss降了不代表模型能打。我部署到生产环境测了20个真实case，发现过拟合严重：训练集上的回答流畅，但遇到新场景就胡扯。建议用BLEU+人工抽检双保险，尤其关注边缘案例。

最后抛个问题：你们在微调后做模型压缩时，是优先用剪枝还是蒸馏？我试过剪枝，推理速度提升20%但精度掉了3%，求更好的实战方案。

欢迎光临闲社 (https://www.xianshe.com/)