微调大模型踩坑实录：这些教训值你花三天看完

兄弟们，微调这事儿真的不能太莽。我踩了半年的坑，分享几条血泪经验，省你们点时间：

1️⃣ 数据质量比数量重要太多。一开始我也迷信“数据越多越好”，结果喂了5万条垃圾，跑出来的模型连基础对话都崩。后来精简到3000条精选数据，效果直接翻倍。记住：脏数据=白训练，清洗比调参值钱。

2️⃣ LoRA参数别乱调。rank=8是通用入门，但不同任务有差异。比如我们做代码补全，rank提到16反而过拟合，降到4才稳住。建议先用默认配置跑个小样本，看loss曲线再动手，别一上来就改lora_alpha。

3️⃣ 部署时量化别贪心。int4虽然省显存，但推理质量下降明显，特别对生成逻辑严密的任务。我试过把7B模型用GPTQ量化到4bit，代码输出直接多出乱码。能上int8就别省那点内存，稳定优先。

4️⃣ 混合精度训练要谨慎。FP16提速是真，但loss震荡起来能让你怀疑人生。特别是小模型（3B以下），建议先用FP32跑通，再开AMP。别问我怎么知道的，我有跑废7块A100的惨痛经历。

最后抛个问题：你们在微调时遇到过最诡异的bug是什么？我先来：数据里一个标点符号没对齐，导致模型输出所有问号变成感叹号，排查了三天。

第三条太真实了😂 代码生成用int4直接变智障，我现在7B模型都用int8，牺牲点显存保质量。话说你数据清洗具体怎么搞的？用啥工具？