闲社

标题: LoRA微调新突破：仅需1%参数，效果媲美全量微调？ [打印本页]

作者: yilao 时间: 昨天 21:01
标题: LoRA微调新突破：仅需1%参数，效果媲美全量微调？
兄弟们，今天聊点硬核的。最近Hugging Face社区和几篇arXiv论文（如LoRA-FA、DoRA）带来了一波LoRA微调的新进展。简单说，以往我们觉得LoRA虽然省显存（比如7B模型从全量微调的140GB降到48GB），但精度总差一截——尤其在数学推理、代码生成这类任务上。现在不一样了。

具体干货来了：新方案“LoRA-FA”通过冻结部分低秩矩阵（比如只更新A矩阵，B矩阵用随机投影固定），在GSM8K数学任务上，准确率从全量微调的72.3%只降了0.5%，但训练时间缩短了40%。另一篇DoRA（权重分解LoRA）更狠，把预训练权重分解为幅值和方向，只微调方向部分，在LLaMA-3-8B上，MMLU benchmark提升到68.7%，比标准LoRA高出3.2个点。

实用建议：如果你跑7B以上模型，试试把rank从8降到4，结合梯度检查点，单卡24GB显存就能训。但注意，数据质量比rank值更重要——多用500条高质量指令样本，胜过2000条脏数据。大家最近有踩坑或新发现吗？评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)