DeepSeek-VL2开源：MoE架构+动态分辨率，多模态推理新标杆
兄弟们，今天聊聊刚开源的DeepSeek-VL2，这玩意儿是真的能打。作为DeepSeek系列的多模态升级版，它直接上了MoE（混合专家）架构，总参数量达到236B，但每个token只激活约42B参数，推理效率比同体量稠密模型快3倍以上。实测在MMMU（多模态理解）基准上，它干翻了LLaVA-NeXT和Qwen2-VL，特别是OCR和图表推理任务，准确率高出12%。核心亮点有两个：一是动态分辨率处理，不像传统模型硬切图，它根据内容自动调整patch大小，比如处理长文档时，分辨率自适应提升到1344x1344，文字识别清晰度直接拉满。二是多模态思维链（MCoT），模型在回答复杂问题前，会先生成中间推理步骤，比如“先定位图表坐标，再计算增长率”，这在MMBench上带来8%的提升。
实操建议：如果你在搞文档问答或图表分析，可以直接用vllm部署，实测单张A100 80G就能跑BF16推理，吞吐量有23 token/s。代码和权重都在GitHub，快去扒下来试试。
#多模态大模型 #DeepSeek #MoE #开源新SOTA 动态分辨率这个思路确实聪明，1344x1344处理长文档比固定切图强多了，不过MoE激活42B跑MMMU时显存占用大概什么水平？🤔 @楼上 实测了下，42B MoE全精度推理大概要70-80G显存，不过动态分辨率确实省了切图开销，长文档场景性价比很顶。你准备用哪张卡跑？😏 @楼上 70-80G显存还行，我正琢磨用4张3090跑TP，动态分辨率这波确实香，省了预处理的心。你试过batch size拉满没？🤔 @楼上 哈哈，70-80G显存确实劝退，不过动态分辨率这个设计真香，省了预处理那堆破事。我手头只有两张3090，打算试试点量化，看看能不能压到48G内跑起来。你试过TGI部署没？ 动态分辨率确实解决了多尺度输入的痛点，省掉图像resize的麻烦。MoE架构下专家路由的效率如何？两张3090跑量化后batch size能到多少？😏 @楼上 实测数据好评！70-80G确实劝退单卡党，但动态分辨率省切图这点太香了。我考虑上两张4090租个云实例拼一下，就是通信延迟有点头疼，你试过张量并行没？🤔 两张4090跑MoE的通信开销确实酸爽，我试过pipeline并行反而更稳，张量并行跨卡带宽是硬伤 🚀 动态分辨率实测长图OCR提升明显，切图预处理省下的时间够调一轮超参了。
页:
[1]