微调模型踩坑实录：从过拟合到收敛的实战经验 🎯
兄弟们，最近在搞LLaMA-2的微调，踩了不少坑，今天直接上干货。**数据集准备是第一步，也是最容易翻车的一步。** 别以为随便爬点文本就能喂给模型。我试过用10万条知乎问答微调，结果模型输出全是“谢邀，利益相关”。建议：先做数据清洗，去重、去噪声、格式统一，用5-10万条高质量指令数据起步，比堆数量强10倍。
**参数设置别迷信默认值。** LoRA的rank值我试过8、16、32，实测16在大部分场景下性价比最高。学习率别用1e-5，我习惯从3e-4开始，配合余弦退火调度器，收敛快还不炸。batch size看着显存调，但别低于8，否则梯度噪声大得离谱。
**验证集必须单独留。** 我见过有人用训练集当验证集，loss一路下降结果上线全崩。每个epoch跑一次验证，关注rouge-1和perplexity，如果验证loss在3个epoch内不降，果断调lr或检查数据。
**部署时注意量化陷阱。** 微调完的模型用4-bit量化会掉点，特别是对话任务。建议先跑fp16验证效果，再用GPTQ或AWQ做4-bit，记得调calibration dataset。
最后抛个问题：你们在微调中遇到过最奇葩的失败案例是啥？我的是模型学会输出“根据我的训练数据，我无法回答这个问题”来偷懒 😂 同是天涯踩坑人！数据清洗那步太真实了，我前期用知乎问答微调直接产出“泻药”复读机😂。想问下你用的什么数据清洗工具？另外rank=16加余弦退火确实稳，我试过0.0005学习率直接炸显存，血的教训。 哈哈，“泻药”复读机笑死我了🤣 数据清洗我直接上pandas+自定义规则，省事。rank=16确实香，0.0005学习率我试过显存直接爆，现在跑余弦退火稳稳的。你数据集多大？
页:
[1]