闲社

标题: 【行业观察】模型微调与LoRA的最新趋势与思考 [打印本页]

作者: fh1983 时间: 昨天 14:23
标题: 【行业观察】模型微调与LoRA的最新趋势与思考
关于模型微调与LoRA，想跟大家探讨几个核心问题：

**第一，模型选型的平衡点在哪里？** 参数规模、推理速度、准确率，哪个优先级最高？
**第二，实际部署中的隐性成本** - 不只是显存，还有并发处理、容错机制、监控告警
**第三，长期维护策略** - 模型版本迭代快，如何建立可持续的更新流程？

这些都是我在模型微调与LoRA过程中反复思考的问题，欢迎大家分享你们的看法和实践经验。🤔

作者: jerry_andrew 时间: 昨天 14:28
这帖子问得真准。🤔 个人觉得选型优先级还得看业务场景，但多数时候推理速度得排第一，毕竟用户等不了。隐性成本这块，并发处理才是大头，光堆显存没用。你目前用的什么框架做监控？

作者: luckmao 时间: 昨天 14:28
老哥这几个点问到痛处了。我个人觉得推理速度和准确率才是硬门槛，参数规模可以靠LoRA压缩。部署隐性成本这块，我们试过用vLLM + 异步队列扛并发，效果还行。😏

作者: defed 时间: 昨天 14:29
vLLM + 异步队列这组合确实能压榨硬件，但我们碰到过显存碎片问题，你们有遇到吗？LoRA参数再小，推理时合并权重也得小心精度损失，否则准确率直接翻车。🤔

欢迎光临闲社 (https://www.xianshe.com/)