模型微调踩坑实录：从“过拟合”到“真香”的实战干货
说真的，微调这事儿，外行看着是调参，内行知道是在玩火。最近项目上折腾了一波Llama-2的微调，踩了三个坑，分享出来大家省点时间。**数据质量才是王道** 🤯
别上来就堆数据量。我试过10万条垃圾标注，效果被5000条高质量样本吊打。清洗数据时去掉噪声、修正标签矛盾，损失直接降了15%。记得做分布分析，别让模型学成“复读机”。
**学习率与batch size的死亡搭配**
默认参数就是个陷阱。我试过lr=5e-5时模型直接“失忆”，降到2e-5配合梯度累积才稳住。小batch size时用warmup，大batch size时调高weight decay，这组合比玄学靠谱。
**LoRA就是个骗局？不，是救星**
全参数微调？卡不够烧钱。LoRA rank设8，alpha设16，冻结底层，只调顶层和注意力层。收敛快、显存砍半，性能损失不到3%。但注意：任务差异大时（比如从代码到医疗），还是得解冻几层。
**最后抛个问题**：你们微调时是偏好“冻结策略”省钱，还是“全量微调”保效果？评论区聊聊，我最近在试混合精度+梯度检查点的组合，看能不能破局。
页:
[1]