模型详情
模型介绍
中文整理Qwen2-VL-2B-Instruct
模型用途
Qwen2-VL-2B-Instruct是一个视觉语言模型，用于图像和视频理解、问答、对话和内容创作。该模型可作为代理集成到手机、机器人等设备中，基于视觉环境和文本指令进行自动操作。
主要能力
- *图像理解**：支持任意分辨率和宽高比的图像处理，在多个视觉理解基准测试中达到领先水平，包括MathVista、DocVQA、RealWorldQA、MTVQA等。
- *视频理解**：能够理解超过20分钟的视频，支持高质量的基于视频的问答、对话和内容创作。
- *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括欧洲主要语言、日语、韩语、阿拉伯语、越南语等。
- *动态分辨率处理**：采用Naive Dynamic Resolution技术，将任意图像映射为动态数量的视觉 tokens，提供更接近人类的视觉处理体验。
- *多模态位置编码**：采用Multimodal Rotary Position Embedding（M-ROPE）技术，能够同时捕捉一维文本、二维视觉和三维视频的位置信息。
输入输出
- *支持的输入格式**：图像支持本地文件、base64编码和URL；视频仅支持本地文件。
- *图像尺寸控制**：用户可通过两种方式控制输入图像尺寸——定义最小和最大像素值（图像将在保持宽高比的前提下调整至该范围内），或直接指定调整后的高度和宽度（值将四舍五入至28的倍数）。默认使用原生分辨率，更高分辨率可提升性能但增加计算开销。
运行要求
需要安装最新版的Hugging Face Transformers。建议使用以下命令从源码安装以避免兼容性问题：
pip install git+https://github.com/huggingface/transformers
基本用法
模型支持多种推理场景，包括单图像推理、多图像推理、视频推理和批量推理。用户可使用transformers库和qwen_vl_utils工具包进行调用。
限制
- 不支持音频理解：当前模型无法理解视频中的音频信息。
- 数据时效性：图像数据集更新至2023年6月，该日期之后的信息可能未覆盖。
- 个人和知识产权识别受限：模型识别特定个人或品牌的能力有限，可能无法全面覆盖所有知名人物或品牌。
- 复杂指令理解能力有限：面对复杂的多步骤指令时，模型的理解和执行能力有待提升。
- 计数准确性不足：在复杂场景中，对物体计数的准确性不高，需要进一步改进。
- 空间推理能力较弱：尤其在三维空间中，模型对物体位置关系的推断能力不足，难以精确判断物体的相对位置。
许可证
（原文未提供许可证相关信息）
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。