微调大模型的3个血泪教训，少走一年弯路 🛠️

兄弟们，刚落地一个垂直领域微调项目，奉上干货。先说结论：别上来就全参数微调，那是烧钱找罪受。

第一，数据质量决定天花板。我踩过坑，拿原始爬虫文本直接训，结果模型输出满嘴跑火车。现在标准流程：人工清洗+去重+格式对齐，至少保证每批次数据的一致性。建议用Pythia或LLaMA-Factory的数据检查脚本跑一遍，能筛掉80%垃圾。

第二，LoRA是性价比之王。参数量只占0.1%-1%，但效果跟全参差不多。关键在rank值：推荐8-64。场景简单（比如客服对话）选8-16，复杂任务（代码生成）直接上64。注意：别同时调太多层，否则过拟合到你怀疑人生。

第三，验证集不能偷懒。我见过老哥只盯着loss降，结果上线后用户骂“智障”。正确做法：每个epoch跑验证集，算BLEU或ROUGE，发现指标停滞立马加dropout或减少学习率。

最后，部署时用vLLM或TGI，吞吐能翻倍。别问我怎么知道的。

抛个砖：你们微调时最头疼的问题是数据标注还是收敛速度？欢迎来撕。