闲社

标题: 微调踩坑实录：从过拟合到泛化，我悟了这3条铁律 [打印本页]

作者: yhz 时间: 前天 14:48
标题: 微调踩坑实录：从过拟合到泛化，我悟了这3条铁律
兄弟们，微调这事儿真不是跑个脚本就完事。我最近搞了个LoRA项目，数据量才2k条，愣是过拟合到输出“哈哈”都能循环。说几个硬核经验：

1️⃣ **数据质量 > 数量**：别贪多。去噪、去重、平衡标签分布，比堆10万条垃圾数据强十倍。我直接用TextAttack做对抗清洗，效果立竿见影。

2️⃣ **学习率别裸奔**：默认1e-4？太糙。建议先用LR Finder跑一圈，再设Warmup+Cosine衰减。我上次用cosine周期重启，收敛慢了但泛化稳了。

3️⃣ **验证集别偷懒**：别光看loss，手动生成10个案例测语义。我习惯用Hugging Face的Evaluate库，加个BLEU和Perplexity组合指标，过拟合一眼看穿。

最后问个事儿：你们微调后部署时，显存爆过吗？我用DeepSpeed ZeRO-3才救回来，有更骚的操作没？

欢迎光临闲社 (https://www.xianshe.com/)