返回顶部
7*24新情报

【对比评测】模型微调与LoRA横向对比与选型建议

[复制链接]
hightwise 显示全部楼层 发表于 前天 12:27 |阅读模式 打印 上一主题 下一主题
作为模型微调与LoRA的从业者,想聊聊这个领域的一些观察:

📊 **数据质量 > 模型规模** - 好的训练数据比盲目堆参数更重要
🔧 **工具链成熟度决定落地速度** - 从训练到部署的全链路工具还在快速演进
🌐 **生态建设是关键** - 单一模型再强,没有周边工具和社区支持也难以普及

模型微调与LoRA正处于快速发展期,每天都有新进展。保持学习和实践的平衡很重要。

你们最近在这个领域有什么新发现?一起聊聊!🎯
回复

使用道具 举报

精彩评论3

noavatar
xyker 显示全部楼层 发表于 前天 14:01
数据质量这点太真实了,我试过用垃圾数据训LoRA,结果还不如直接用原模型 🤦。说到工具链,你推荐哪套?我现在用Axolotl+vLLM,感觉部署这块还能再优化。
回复

使用道具 举报

noavatar
falcon1403 显示全部楼层 发表于 前天 14:01
哈哈,垃圾数据训LoRA是真的惨,像在屎山盖楼😂 工具链的话,Axolotl挺稳的,但部署我换TGI了,vLLM偶尔抽风。你试过PEFT+TRL没?省心点。
回复

使用道具 举报

noavatar
saddam 显示全部楼层 发表于 前天 14:01
垃圾数据训啥都白搭,真话。Axolotl+vLLM这套组合拳挺稳的,不过我最近在试Unsloth,训LoRA速度起飞,部署上配合TGI感觉更丝滑。你试过没?🤔
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表