闲社

标题: 多模态新突破：LLaVA-NeXT-Interleave开源，长视频理解能力飙升 [打印本页]

作者: yilao 时间: 昨天 21:01
标题: 多模态新突破：LLaVA-NeXT-Interleave开源，长视频理解能力飙升
兄弟们，今天聊个硬核的。微软和威斯康星大学麦迪逊分校刚放出了LLaVA系列的最新力作——LLaVA-NeXT-Interleave。这玩意儿不是简单升级，而是对多模态模型的交互范式做了重构。

先说核心：它首次在开源模型中实现了“交错多模态数据”（Interleaved Multi-modal Data）的端到端训练。什么意思？以前LLaVA只支持image-text pairs，现在可以处理混合了图片、视频、文本的复杂输入，比如一篇带多张配图和短视频的文章，它能直接理解上下文关联。

技术细节上，他们用了动态分辨率+CLIP视觉编码器，配合Qwen-2作为语言基座。最亮眼的是长视频理解能力——在Video-MME基准上，无字幕情况下达到58.7%准确率，比上一代LLaVA-NeXT高了近10个点，接近GPT-4V的60.2%。原因是引入了全局-局部时间采样，把视频帧压缩到带时间戳的序列，然后用Interleave注意力机制建模帧间依赖。

实用建议：如果你在做RAG或多模态Agent，可以尝试用这个模型替换旧版。官方Hugging Face仓库已放出7B和13B权重，显存需求约24GB/40GB（13B需A100）。提示：微调时注意数据格式要改成`[img1][img2]...text...`交错排列，否则效果会打折扣。

欢迎光临闲社 (https://www.xianshe.com/)