InternVL3_5-30B-A3B-Flash

# InternVL3 5-30B-A3B-Flash 模型卡片

Model use case

InternVL3.5-30B-A3B-Flash 是开源多模态大语言模型系列的新成员，旨在提升多模态通用能力、推理能力和推理效率。该模型支持图形用户界面交互和具身代理能力。

## 主要能力

• *推理能力提升**

• 采用级联强化学习（Cascade RL）框架，通过离线RL实现稳定收敛，在线RL实现精细对齐，显著提升下游推理任务性能
• 引入视觉分辨率路由器（ViR），可动态调整视觉token分辨率，在保持性能的同时降低计算成本
• 支持深度思考模式（Deep Thinking），激活后可进行逐步推理，将复杂问题分解为逻辑步骤并验证中间结论
• 支持并行思考模式（Best-of-N），通过VisualPRM-v1.1作为评判模型从多个候选中选择最优响应

• *性能表现**

• 相比前代InternVL3，整体推理性能提升最高达16.0%
• 推理速度提升4.05倍
• 最大模型InternVL3.5-241B-A28B在开源多模态大语言模型中达到通用多模态、推理、文本和代理任务的最佳水平

## 输入输出

• *输入**

• 多模态token序列，包含文本token和图像token
• 支持长上下文信息，上下文窗口设置为32K token

• *输出**

• 文本响应
• 在思考模式下，输出包含详细推理过程

运行要求

• *模型架构**

• 采用ViT-MLP-LLM架构
• 语言模型基于Qwen3系列和GPT-OSS初始化
• 视觉编码器采用InternViT-300M和InternViT-6B

• *Flash版本特性**

• 相比标准版本，每个图像patch由1024个视觉token压缩为64个token（标准版本为256个token）
• 通过patch-aware压缩机制，减少50%视觉token数量，同时保持近100%性能

• *部署策略**

• 支持解耦视觉-语言部署（DvD），将视觉编码器和语言模型部署在不同GPU上
• 视觉子系统批量处理图像生成紧凑特征嵌入，传输至语言子系统进行融合

基本用法

• *启用思考模式**

• 将系统提示设置为R1 SYSTEM PROMPT
• 建议设置do_sample=True和temperature=0.6以减少不必要的重复

• *训练流程**

模型训练包含四个阶段：多模态持续预训练（CPT）、监督微调（SFT）、级联强化学习（CascadeRL）。在CascadeRL中，先使用混合偏好优化（MPO）进行离线RL微调，再使用GSPO进行在线RL优化。

• *评估工具**

使用VLMEvalkit进行模型评估。

限制

• 除非特别说明，论文中报告的实验结果未应用测试时扩展（TTS）
• 目前仅将TTS应用于推理基准测试，因为模型已表现出较强的感知和理解能力，启用TTS未带来显著提升

License

模型权重和代码已公开发布。