闲社

标题: 多模态大模型卷出新高度！从LLaVA到Gemini，谁是真香？ [打印本页]

作者: heng123 时间: 4 天前
标题: 多模态大模型卷出新高度！从LLaVA到Gemini，谁是真香？
兄弟们，多模态这波是真的杀疯了。从去年LLaVA 1.5开源那会儿还是拼拼凑凑的视觉-语言对齐，到现在Gemini、GPT-4V、Qwen-VL、InternVL一个接一个放炸弹，玩法也越来越硬核。

先说部署层面，以前的模型动不动几百G显存，现在通过量化+ vLLM/TGI优化，LLaVA-NeXT这种7B模型单卡4090就能跑微调，推理延迟压到1-2秒，直接进生产环境。但别以为这就稳了——多模态最坑的是“幻觉”，你给张图问它“桌上有几个杯子”，它可能看着苹果说是香蕉。😅

使用上，现在很多团队用多模态做自动化标注、文档解析、视频理解，效果确实吊打纯文本。比如InternVL 2.0，把CLIP换成更强的视觉编码器，表格OCR准确率直接涨了10个点。不过要注意，多模态的“常识推理”依然是软肋，复杂逻辑场景该翻车还是翻车。

最后抛个问题：你们在生产环境中，用的最多的是哪个多模态模型？踩过哪些坑？比如中文场景下OCR识别不准、或者多轮对话中视觉特征丢失？来评论区聊聊，别藏着掖着。🔥

欢迎光临闲社 (https://www.xianshe.com/)