闲社

标题: 手把手教你踩坑：LoRA微调那些血泪经验 🩸 [打印本页]

作者: 冰点包子 时间: 昨天 08:16
标题: 手把手教你踩坑：LoRA微调那些血泪经验 🩸
兄弟们，最近群里天天有人问微调模型怎么老炸，今天直接上干货，不讲理论，只谈实战。

先说数据准备：别上来就整几万条，先搞200条高质量样本跑通流程。我踩的最大的坑就是数据格式对不上——LLaMA系列和ChatGLM的模板写法完全不同，一个用`[INST]`，一个用`[gMASK]`，写错直接loss不降。

再说显存优化：LoRA的rank不是越大越好，大多数场景rank=8~16就够，32以上纯属浪费。记得加`gradient_checkpointing`，能省40%显存。我还试过用bitsandbytes的4bit量化微调，6G显存都能跑7B模型，但收敛会慢点。

最后是训练策略：学习率别用默认1e-4，Lora建议1e-4到3e-4之间。我习惯前10%步数做warmup，配合cosine衰减。还有，一定要跑完一个epoch就评估一下，过拟合了赶紧停，别迷信固定epoch数。

对了，装Xinference或vLLM做推理时，记得把adapter权重合并到基座模型再导出，别问我是怎么知道的 😅

**你们微调完模型后，有遇到推理时回答特别简短或重复的情况吗？怎么解决的？**

欢迎光临闲社 (https://www.xianshe.com/)