模型介绍
中文整理# Phi-4-Reasoning-Vision-15B
模型概述
Phi-4-Reasoning-Vision-15B 是一款紧凑型开源权重多模态推理模型，基于 Phi-4-Reasoning 语言模型骨干和 SigLIP-2 视觉编码器构建，采用中融合架构。在该架构中，视觉编码器首先将图像转换为视觉令牌，然后投影到语言模型的嵌入空间中并注入到预训练语言模型。这种方法结合了预训练组件的优势，同时控制了训练和推理成本。该模型采用动态分辨率视觉编码器，最多支持 3,600 个视觉令牌，能够进行高分辨率图像理解，这对于 GUI 定位和细粒度文档分析等任务至关重要。图像内采用双向注意力来提升空间推理能力，同时避免了更广泛双向方案中出现的过拟合风险。
## 主要能力
Phi-4-Reasoning-Vision-15B 训练时使用了监督微调，数据包括经过精心筛选的推理和非推理数据。该模型作为单一系统运行，可为数学和科学推理等任务调用扩展思维链推理（使用尖括号标记），或为图像描述、目标检测和定位等感知任务使用直接推理（使用方括号标记）。
该模型在两个主要领域表现出色：一是视觉输入的科学和数学推理，包括解决手写方程或图表中的数学问题、提取和推理文档、图表和表格中的定量信息，以及在教育或科学分析场景中支持多步推理；二是计算机使用代理任务，包括解释屏幕内容、定位交互式 GUI 元素和在图形用户界面中选择操作。该模型还具备图像描述、视觉问答、光学字符识别、目标定位和指向等通用多模态任务能力。
## 输入输出
- *输入：** 文本和图像
- *输出：** 文本
- *参数：** 15B
- *上下文长度：** 16,384 个令牌
运行要求
- *软件依赖：**
- torch >= 2.7.1
- transformers >= 4.57.1
- vllm >= 0.15.2（仅在使用 vLLM 时需要）
- *硬件环境：** 已在 NVIDIA A6000、A100、H100 和 B200 GPU 上测试，操作系统为 Ubuntu 22.04.5 LTS。建议在 vLLM 服务器上使用 bf16 精度运行。
- *训练资源：** 240 个 NVIDIA B200 GPU，训练 4 天
基本用法
根据训练数据特点，推理时需使用聊天模板和系统提示。例如，对于提示"请描述这张图像"，完整格式化的聊天模板提示如下：
使用尖括号标记可强制进行思考响应，使用方括号标记可强制进行非思考响应。
限制
- *语言限制：** 模型主要基于英语文本和图像-文本对训练，英语以外的其他语言可能出现性能下降。
- *使用场景限制：** 该模型未经专门设计或评估用于所有下游用途。模型不应在可能对法律地位或资源分配或生活机会（如住房、就业、信用）产生重大影响的场景中使用，除非进行进一步评估和额外的去偏技术。该模型不适用于提供医疗诊断、法律建议或财务规划。
- *潜在风险：** 模型可能产生不公平、不可靠或冒犯性的内容。可能出现的问题包括：服务质量下降（特别是非英语语言）、对某些群体的过度或不足代表、消除某些群体的代表或强化贬低性或负面刻板印象、生成不当或冒犯性内容、以及信息可靠性问题（生成无意义内容或看似合理但不准确或过时的内容）。
开发者应在高风险场景中评估模型适用性，并在应用层面实施额外的保障措施。建议使用 Azure AI Content Safety 等安全服务。
许可证
MIT 许可证
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。