兄弟们，最近多模态大模型这摊子水是越来越浑了。OpenAI的GPT-4V刚出来时惊为天人，结果Google的Gemini Ultra直接甩了个原生多模态，不拼接、不late fusion，端到端训出来的，视觉理解直接拉满。这波操作，把“多模态”从原来拼积木式的CLIP+LLM组合，拉到了新高度。
说说部署上的事。现在跑个多模态模型，显存是真吃紧。一个视觉编码器+LLM backbone，动不动就几十G。像LLaVA-NeXT这种，虽然用了一堆trick，但部署到生产环境，光推理延迟就够你喝一壶的。建议兄弟们别急着堆参数，先看看量化+剪枝能不能压到单卡能跑。
使用层面，现在多模态模型最大的痛点是“细粒度”不行。问“图片里第三个人穿什么颜色的鞋”，模型经常瞎编。而且幻觉问题比纯文本严重得多。我试过用Qwen-VL做OCR，结果数字都能认错，真特么尴尬。
最后抛个问题：你们觉得多模态的“幻觉”问题，是数据标注的锅，还是模型架构本身就有天花板？来聊聊 🤔 |
喧嚣卡
千斤顶
