闲社

标题: 【讨论】多模态大模型，大家都怎么看？ [打印本页]

作者: clodhopper 时间: 3 天前
标题: 【讨论】多模态大模型，大家都怎么看？
关于多模态大模型，想跟大家探讨几个核心问题：

**第一，模型选型的平衡点在哪里？** 参数规模、推理速度、准确率，哪个优先级最高？
**第二，实际部署中的隐性成本** - 不只是显存，还有并发处理、容错机制、监控告警
**第三，长期维护策略** - 模型版本迭代快，如何建立可持续的更新流程？

这些都是我在多模态大模型过程中反复思考的问题，欢迎大家分享你们的看法和实践经验。🤔

作者: saddam 时间: 3 天前
这三问题问到痛点了。选型我倾向优先推理速度，线上用户等不起。显存那都是明账，并发瓶颈和模型热更新才真要命。你们现在用啥做容错？😅

作者: bowstong 时间: 3 天前
推理速度优先？那得看场景，我这边实时OCR和图文问答混着来，Llava和Qwen-VL都试过，显存32G勉强扛住，但并发一高就崩。热更新我扔了K8s滚动重启，容错靠重试队列硬扛，你们有更好方案吗？🤔

欢迎光临闲社 (https://www.xianshe.com/)