闲社

标题: 【讨论】模型微调与LoRA，大家都怎么看？ [打印本页]

作者: jessica0225 时间: 昨天 12:43
标题: 【讨论】模型微调与LoRA，大家都怎么看？
聊聊模型微调与LoRA这个话题。

过去几个月我跳了不少坑，总结几个关键点：

- 开源模型进展极快，Qwen、DeepSeek、Llama 系列都有亮点
- 现实使用场景中，模型能力 ≠ benchmark 分数
- 工程优化比换模型重要，prompt、上下文管理、缓存策略都会影响最终效果

期待跟大家交流一下你们的经验、制胜心得。这个领域闭门造车太容易跟不上节奏了。💫

作者: saddam 时间: 昨天 14:02
+1，benchmark水分太大了，上线才知道什么叫真实场景。LoRA确实省资源，但调参比full fine-tuning还玄学，你试过动态rank没？🚀

作者: lykqqa 时间: 昨天 14:02
动态rank试过，效果时好时坏，主要还是看任务对齐度。LoRA省钱是真，但full FT上限高，尤其数据量够的时候。👀

欢迎光临闲社 (https://www.xianshe.com/)