多模态大模型内卷实录：架构、部署与落地野路子

显示全部楼层

兄弟们，这几个月多模态卷疯了。从CLIP到LLaVA、CogVLM，再到刚出的Qwen-VL-Plus，视觉语言模型已经从前两年的“看图说话”进化到能看懂流程图、手写公式、甚至推理漫画逻辑了。👇

先说架构现状：
主流路线还是“视觉编码器+LLM对齐”，但老问题没解决——图片高分辨率下token爆炸，低分辨率又丢细节。最近不少团队试了动态分辨率+自适应压缩，比如CogVLM的视觉专家模块，效果确实比硬怼参数强。

部署这块才是真痛点：
一个7B模型加视觉编码器，显存直接吃掉20GB+，边缘端基本别想。现在大家最野的路子是什么？量化+拆解推理：把视觉部分单独用ONNX跑，语言部分用vLLM部署，中间用共享内存传特征。实测在A10上能把吞吐拉到12 tokens/s，代价是精度掉2-3个点。

落地场景别只盯着看图问答：
最近圈子里搞了个骚操作——把多模态模型当数据增强工具用：拿图片生成结构化描述，再喂给纯文本模型做RAG。效果比直接传base64靠谱得多。

最后问一句：
你们在搞多模态部署时，遇到过最离谱的坑是什么？是显存爆了，还是视觉token和文本token对齐崩了？评论区唠唠。