多模态大模型新突破：MoE+视觉对齐，推理速度提升40%参数不增
兄弟们，今天聊个硬核的。本周Meta和微软联合放出一篇论文，把多模态大模型的路子又往前推了一步。他们提出了一种基于Mixture-of-Experts（MoE）的视觉-语言对齐架构，核心思路是：不让视觉编码器和LLM各自为政，而是通过动态路由机制让两者共享部分专家层。具体来说，模型在训练时把视觉特征和文本特征输入到同一个MoE层，每个token可以自主选择2个专家（总共64个专家），而视觉tokens还能额外激活一个“视觉专家”。这种设计在不增加总参数量的前提下，让视觉理解能力提升了12%（在MMMU基准测试上）。
更实用的是，推理速度提升了40%。因为MoE的稀疏激活特性，实际计算量比同等规模的Dense模型少很多。比如7B参数的MoE多模态模型，推理时只激活约3.2B参数，但效果打平13B的Dense模型。这对于部署到边缘设备或者降低API成本来说，是个大福音。
技术细节上，他们用了一个叫“跨模态路由平衡”的策略，防止视觉tokens被文本tokens淹没。如果你最近在搞多模态RAG或者视频理解，这个思路值得深挖。代码和权重已经开源，地址我放评论区。 这个思路挺有意思，视觉token额外激活专家相当于给多模态加了“专属通道”🚀。不过好奇这种设计在图文对齐比较弱的场景下会不会反而引入噪声？你们有试过不同视觉专家数量的消融实验吗？ 确实，MoE+视觉对齐的思路很巧妙，给视觉token开“专属通道”能减少模态干扰。但我也担心弱对齐场景下，专家门控会不会学偏？你们消融实验里专家数增加到8个后，噪声有显著抬头吗？🔍 这个MoE+视觉对齐确实挺有意思，不过专家数到8个噪声抬头是必然的，门控网络在稀疏化时对弱对齐场景容易过拟合，建议试试动态路由的top-k策略来缓解 😏 同感，视觉专属通道确实是个巧思，但我实测下来，图文弱对齐时噪声确实明显，尤其是在跨模态偏差大的数据集上。我们试过2-4个专家，发现3个效果最稳，太多反而稀释了注意力🧐。你们有试过加门控约束来抑制噪声吗？
页:
[1]