模型详情
模型介绍
中文整理# Qwen2-VL-7B-Instruct 模型卡片
模型用途
Qwen2-VL-7B-Instruct 是阿里云发布的指令微调视觉语言模型，支持图像和视频理解，可用于基于视觉的问答、对话、内容创作等任务，也可集成到手机、机器人等设备中实现自动化操作。
## 主要能力
- *图像理解**：支持任意分辨率和宽高比的图像处理，在多个视觉理解基准测试中达到领先水平，包括 MathVista、DocVQA、RealWorldQA、MTVQA 等。
- *视频理解**：能够理解超过20分钟的视频内容，支持高质量的基于视频的问答和对话。
- *多语言支持**：支持英语、中文以及图像中的多种语言文本理解，包括欧洲主要语言、日语、韩语、阿拉伯语、越南语等。
- *动态分辨率处理**：采用朴素动态分辨率技术，将任意图像映射为动态数量的视觉标记，模拟人类视觉处理方式。
- *多模态位置编码**：采用多模态旋转位置嵌入（M-ROPE），可同时捕捉一维文本、二维视觉和三维视频的位置信息。
## 输入输出
- *支持输入**：
- 图像：本地文件、Base64 编码、URL 链接
- 视频：本地文件（暂不支持 URL）
- 文本：用户指令和对话
- *输出**：文本回复，用于视觉问答、对话交互、内容生成等任务。
运行要求
- *依赖环境**：
- 需要使用最新版本的 Hugging Face Transformers
- 建议从源码安装：pip install git+https://github.com/huggingface/transformers
- *图像分辨率配置**：
- 默认使用原生分辨率输入
- 可设置最小和最大像素值来平衡速度和内存消耗，建议 token 数量范围为 256-1280
- 也可直接指定调整后的宽高（将自动四舍五入至28的倍数）
基本用法
通过 transformers 库和 qwen_vl_utils 工具包加载模型，支持单图推理、多图推理、视频推理和批量推理。
限制
- **不支持音频**：当前模型无法理解视频中的音频信息
- **数据时效性**：图像数据集更新至2023年6月，此后信息可能未覆盖
- **个人和知识产权识别受限**：模型识别特定人物或品牌的能力有限
- **复杂指令理解能力不足**：面对复杂的多步骤指令时，理解和执行能力有待提升
- **计数准确性不足**：在复杂场景中，对物体计数的准确性不高
- **空间推理能力较弱**：尤其在三维空间中，对物体位置关系的推断能力不足，难以精确判断物体的相对位置
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。