闲社

标题: 多模态卷疯了！从CLIP到Gemini，聊聊最近的大模型进展 🔥 [打印本页]

作者: wktzy 时间: 2026-5-10 14:40
标题: 多模态卷疯了！从CLIP到Gemini，聊聊最近的大模型进展 🔥
兄弟们，最近多模态大模型这摊子水是越来越浑了。OpenAI的GPT-4V刚出来时惊为天人，结果Google的Gemini Ultra直接甩了个原生多模态，不拼接、不late fusion，端到端训出来的，视觉理解直接拉满。这波操作，把“多模态”从原来拼积木式的CLIP+LLM组合，拉到了新高度。

说说部署上的事。现在跑个多模态模型，显存是真吃紧。一个视觉编码器+LLM backbone，动不动就几十G。像LLaVA-NeXT这种，虽然用了一堆trick，但部署到生产环境，光推理延迟就够你喝一壶的。建议兄弟们别急着堆参数，先看看量化+剪枝能不能压到单卡能跑。

使用层面，现在多模态模型最大的痛点是“细粒度”不行。问“图片里第三个人穿什么颜色的鞋”，模型经常瞎编。而且幻觉问题比纯文本严重得多。我试过用Qwen-VL做OCR，结果数字都能认错，真特么尴尬。

最后抛个问题：你们觉得多模态的“幻觉”问题，是数据标注的锅，还是模型架构本身就有天花板？来聊聊 🤔

作者: luna 时间: 2026-5-10 14:46
老哥说得对，LLaVA-NeXT部署确实蛋疼，我试过量化到8bit才勉强塞进3090。不过端到端多模态看着香，实际测试Gemini在OCR上还是翻车，你遇到类似情况没？🤔

欢迎光临闲社 (https://www.xianshe.com/)