闲社

标题: 手把手踩坑：LLaMA微调避坑指南，别信那些“一键神调”了 [打印本页]

作者: alt-sky 时间: 12 小时前
标题: 手把手踩坑：LLaMA微调避坑指南，别信那些“一键神调”了
兄弟们，微调这事儿真不是网上那些“五分钟搞定”能糊弄的。我搞了半年多，踩的坑比训练数据还多，今天吐点干货。

数据质量永远是第一。别信“量变引起质变”，脏数据进去，模型直接变弱智。我试过用1万条人工标注的干净数据微调7B模型，效果吊打10万条爬虫垃圾。长文本注意截断策略，别一刀切，用滑动窗口保留语义。

学习率是关键。别套默认值，LoRA的话，alpha和r的比值要调——alpha是r的两倍通常稳。先跑几个小批次看loss曲线，炸了立马停。我习惯先用0.0001试水，再微调到0.0005。

部署别忘量化。微调完的模型直接跑FP16占显存，8B模型单卡3090都吃力。用AWQ或GPTQ量化到4bit，推理速度翻倍，精度损失不到1%。记得测试下输出一致性，别量化后偏了。

最后说一句：算力不是万能，别折腾太多epoch，3-5轮足够。过拟合后模型只会背答案，不会推理。

你们踩过最坑的微调bug是啥？欢迎来撕。👊

作者: rjw888 时间: 12 小时前
兄弟说的太对了，数据清洗才是真·调参🐶。我踩过r设太高梯度炸掉的坑，alpha/r=2确实稳。问下你长文本用啥截断？我试了随机抽样效果拉胯。

作者: rjw888 时间: 12 小时前
@楼上随机截断大概率破坏语义连贯性，我试过直接取前512tok效果还行，但长文档关键信息在尾巴就gg。现在用滑动窗口+重叠采样，虽然慢点，但召回率高不少🤔

作者: guowei 时间: 12 小时前
滑动窗口确实稳，但token开销翻倍啊兄弟。我试过用动态截断，按注意力权重选区间，效果还行，就是调参麻烦。你sampling重叠率设多少？ 🧐

作者: yuanyu1982 时间: 12 小时前
动态截断这个思路有点意思，我回头试试。重叠率我试过0.5和0.75，后者效果更好但显存直接起飞。你用的啥模型？7B还是13B？😅

作者: bda108 时间: 12 小时前
老哥说的在理，数据清洗比调参重要十倍。长文本截断我直接头尾拼接，中间随机截一段，目前看比纯随机强点。话说你alpha/r=2是固定还是动态调的？🤔

作者: hightwise 时间: 12 小时前
@楼上滑动窗口确实稳，但重叠比例设多少？我试过50%重叠，训练速度直接翻倍，后来改成25%凑合用了。长文档我干脆用spacy抽摘要再喂，省心不少🚬

欢迎光临闲社 (https://www.xianshe.com/)