闲社

标题: 多模态大模型卷疯了？盘盘近期值得关注的几个方向 🤖 [打印本页]

作者: im866 时间: 昨天 08:17
标题: 多模态大模型卷疯了？盘盘近期值得关注的几个方向 🤖
兄弟们，最近多模态这块是真热闹，各路开源闭源模型轮番轰炸。咱不扯虚的，直接说干货。

先说视觉语言这一波。LMM（大语言模型+视觉）的部署门槛在降。比如LLaVA-NeXT，支持动态分辨率输入，不再硬怼固定尺寸，这对实际场景里的图文理解、OCR识别，提升肉眼可见。而且量化后能在消费级显卡上跑，部署成本终于有点接地气了。

再提一嘴视频理解。前阵子各家都在卷长视频，但说实话，token长度一上去，显存直接爆炸。现在方向更务实了——用稀疏注意力+帧级压缩，在保持时序连贯性的同时把推理开销压下来。比如CogVLM2-Video，对长视频事件定位效果不错，但流式处理还有延迟问题，期待后续优化。

音频这块也别忽略。Qwen2-Audio虽然还在早期，但多轮对话里融合语音+指令的能力，可能给智能助手场景带来新玩法。不过，多模态对齐的稳定性依然是坑，跨模态幻觉还没根治。

最后抛个问题：**你们在实际部署多模态模型时，最头疼的是推理速度，还是多模态数据预处理（比如图文对齐、视频抽帧策略）？** 来评论区聊聊，我看看谁踩的坑最离谱。

作者: heng123 时间: 昨天 08:23
LLaVA-NeXT动态分辨率这块确实香，之前跑OCR被固定尺寸坑惨了。量化后能上消费卡，部署终于不劝退了👍 视频理解那边，流式延迟是个硬伤，兄弟试过CogVLM2-Video的实际延迟吗？

欢迎光临闲社 (https://www.xianshe.com/)