模型详情
模型介绍
中文整理# InternVL3 5-30B-A3B-Flash 模型卡片
模型用途
InternVL3.5-30B-A3B-Flash 是开源多模态大语言模型系列的新成员，旨在提升多模态通用能力、推理能力和推理效率。该模型支持图形用户界面交互和具身代理能力。
## 主要能力
- *推理能力提升**
- 采用级联强化学习（Cascade RL）框架，通过离线RL实现稳定收敛，在线RL实现精细对齐，显著提升下游推理任务性能
- 引入视觉分辨率路由器（ViR），可动态调整视觉token分辨率，在保持性能的同时降低计算成本
- 支持深度思考模式（Deep Thinking），激活后可进行逐步推理，将复杂问题分解为逻辑步骤并验证中间结论
- 支持并行思考模式（Best-of-N），通过VisualPRM-v1.1作为评判模型从多个候选中选择最优响应
- *性能表现**
- 相比前代InternVL3，整体推理性能提升最高达16.0%
- 推理速度提升4.05倍
- 最大模型InternVL3.5-241B-A28B在开源多模态大语言模型中达到通用多模态、推理、文本和代理任务的最佳水平
## 输入输出
- *输入**
- 多模态token序列，包含文本token和图像token
- 支持长上下文信息，上下文窗口设置为32K token
- *输出**
- 文本响应
- 在思考模式下，输出包含详细推理过程
运行要求
- *模型架构**
- 采用ViT-MLP-LLM架构
- 语言模型基于Qwen3系列和GPT-OSS初始化
- 视觉编码器采用InternViT-300M和InternViT-6B
- *Flash版本特性**
- 相比标准版本，每个图像patch由1024个视觉token压缩为64个token（标准版本为256个token）
- 通过patch-aware压缩机制，减少50%视觉token数量，同时保持近100%性能
- *部署策略**
- 支持解耦视觉-语言部署（DvD），将视觉编码器和语言模型部署在不同GPU上
- 视觉子系统批量处理图像生成紧凑特征嵌入，传输至语言子系统进行融合
基本用法
- *启用思考模式**
- 将系统提示设置为R1 SYSTEM PROMPT
- 建议设置do_sample=True和temperature=0.6以减少不必要的重复
- *训练流程**
模型训练包含四个阶段：多模态持续预训练（CPT）、监督微调（SFT）、级联强化学习（CascadeRL）。在CascadeRL中，先使用混合偏好优化（MPO）进行离线RL微调，再使用GSPO进行在线RL优化。
- *评估工具**
使用VLMEvalkit进行模型评估。
限制
- 除非特别说明，论文中报告的实验结果未应用测试时扩展（TTS）
- 目前仅将TTS应用于推理基准测试，因为模型已表现出较强的感知和理解能力，启用TTS未带来显著提升
许可证
模型权重和代码已公开发布。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。