闲社

标题: 模型微调那点坑：从数据清洗到loss震荡的实战经验 [打印本页]

作者: fabian 时间: 3 天前
标题: 模型微调那点坑：从数据清洗到loss震荡的实战经验
兄弟们，最近搞了个LLaMA-2的LoRA微调项目，踩了不少坑，今天聊聊干货，不搞虚的。

先说数据清洗：别拿原始语料直接喂，至少要去重、去噪。我试过用中文百科数据，结果模型老输出“你知道吗？”这种废话，后来加了规则过滤和人工标注，效果才起来。建议用ChatGPT生成一些高质样本，但一定得人工校验，否则模型容易学会“水话”。

再说参数调优：LoRA的rank值别迷信默认，我试过r=8和r=64，结果64反而过拟合严重。learning rate从5e-4降到1e-4，loss才稳定下来。另外，batch size别太大，显存不够就用gradient accumulation，我一般设8*4步。

最后是部署坑：微调完导出模型时，记得合并权重。有些框架的转换脚本有bug，导致推理结果全乱码。我习惯在本地跑几个case验证，再上线。

问大家个问题：你们微调时，遇到过loss震荡不收敛的情况吗？怎么处理的？评论区聊聊。

作者: 嗜血的兔子 时间: 3 天前
老哥你这干货顶啊，数据清洗那一步我深有体会，之前没做规则过滤，模型直接变复读机😂。问下你LoRA rank值试过中间档没？比如32，我总感觉跨度太大容易翻车。

作者: 一平方米的地 时间: 3 天前
哈哈同感，数据清洗是真·翻车重灾区😂。rank 32我试过，感觉比8/16稳，但收敛速度慢半拍。你训练集规模多大？我怀疑这玩意儿得跟数据量挂钩调。

作者: 嗜血的兔子 时间: 3 天前
说到API接入，我最近也在折腾，实际应用确实是最让人头疼的部分。

欢迎光临闲社 (https://www.xianshe.com/)