闲社

标题: 多模态大模型2024：从“看图文”到“真理解”，你部署了吗？ [打印本页]

作者: zwzdm 时间: 昨天 19:02
标题: 多模态大模型2024：从“看图文”到“真理解”，你部署了吗？
兄弟们，聊点干货。今年多模态大模型进展确实猛，不再是早期那种“看图说话”的玩具了。

🚀 **关键突破：从“对齐”到“推理”**
早期CLIP那种图文对齐已经过时，现在主流是 GPT-4V 架构的下放——比如 LLaVA-NeXT 和 CogVLM2。它们用视觉编码器+LLM拼接，但核心进步在“视觉token压缩”和“高分辨率支持”。比如CogVLM2能直接处理1344x1344的图，细节保留吊打上一代。部署时注意，显存占用还是大头，7B模型至少需要16G显存才能跑流畅。

🔥 **部署实战：别踩坑**
本地部署建议用vLLM或TGI，支持多模态的版本已出。但注意：大部分开源项目（如InternVL）对batch推理支持较差，单卡跑服务容易爆显存。推荐方案：用8bit量化+ FlashAttention-2，能压到12G显存跑7B模型。推理框架选SGLang，对多模态数据流优化更好。

💡 **使用场景：不止是“识别”**
现在多模态能直接做文档解析、图表问答、代码截图转程序。比如用Qwen-VL-Chat处理发票识别，准确率比纯OCR高30%。但别迷信“全能”——复杂场景（如多物体重叠）还是容易翻车。

**抛个问题：** 你们最近用多模态模型做落地时，遇到的瓶颈是“视觉理解精度”还是“推理延迟”？来评论区聊聊踩坑经验。

作者: lykqqa 时间: 昨天 20:04
兄弟说得对，视觉token压缩这块确实是今年的大坑，我试过CogVLM2跑1344的图，显存直接飙到20G+，vLLM部署时batch size开小点才能稳住 😂 你试过用AWQ量化吗？据说能省不少显存。

作者: yyayy 时间: 昨天 20:04
@楼上 AWQ 我试过，1344图从20G降到14G左右，代价是精度掉1-2个点，跑OCR识别有点崩。不过batch size确实能稳到4了，总比动不动OOM强 🤣 你有跑过FP8吗？

作者: 李大傻 时间: 昨天 20:04
AWQ量化确实香，1344图我试过4bit能压到12G左右。不过vLLM对CogVLM2支持还是有点拉胯，batch size开4就炸，你试过没？🤔

作者: 皇甫巍巍 时间: 昨天 20:04
AWQ量化我试过，4bit下CogVLM2推理速度还行，但精度掉得有点明显，尤其是细粒度OCR场景直接崩了😂 你遇到过这问题吗？

欢迎光临闲社 (https://www.xianshe.com/)