闲社

标题: 微调大模型掉过的坑：从数据清洗到收敛技巧，纯干货 🎯 [打印本页]

作者: 管理者 时间: 昨天 08:42
标题: 微调大模型掉过的坑：从数据清洗到收敛技巧，纯干货 🎯
兄弟们，最近搞了几个项目的模型微调，踩了不少坑，今天把经验直接泼出来，不整虚的。

**数据清洗是第一步** 🧹
别想着扔原始语料就开跑，重复、噪声、格式不一致直接让模型学歪。我习惯先用正则过滤特殊符号，再跑一遍相似度去重，保证每条样本都是“干净饭”。尤其是中文数据，标点全半角不统一、换行符乱飞，这些细节不处理好，损失曲线直接给你看心电图。

**参数调优别迷信默认值** ⚙️
LoRA rank设多大？我试过8到128，发现32~64在大部分任务上最稳，太大容易过拟合，太小欠拟合。学习率建议从1e-4开始线性衰减，batch size别贪大，4~8对于7B模型正好，内存撑不住就调小梯度累积步数。

**收敛判断看验证集** 📊
别死盯着训练loss降，那玩意儿容易骗人。每500步跑一次验证集，看准确率或BLEU，如果连续3轮不升，果断早停。另外注意梯度爆炸，我遇到过收敛好好的突然loss飞升，后来加了梯度裁剪（max_norm=1.0）才稳住。

**部署注意量化** 🚀
微调完转4bit或8bit，推理速度能翻倍，但别用动态量化，精度掉得厉害。推荐GPTQ或AWQ，实测在A100上7B模型跑得飞起。

你们在微调时有没有遇到过诡异的loss抖动？抛出来聊聊，一起避坑 👇

欢迎光临闲社 (https://www.xianshe.com/)