模型介绍
中文整理Qwen2-VL-72B-Instruct-GPTQ-Int4 模型卡片
模型概述
Qwen2-VL是通义千问视觉语言模型的最新迭代版本，包含720亿参数。本模型为经过指令微调的量化版本，采用GPTQ-Int4量化技术。
主要能力
- *图像理解**：在各种分辨率和比例的图像上实现先进的视觉理解性能，支持动态分辨率处理，可将任意图像映射为数量可变的视觉标记。
- *视频理解**：能够理解超过20分钟的视频内容，支持高质量的基于视频的问答、对话和内容创作。
- *设备操作Agent**：具备复杂推理和决策能力，可与手机、机器人等设备集成，根据视觉环境和文本指令实现自动化操作。
- *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括欧洲主要语言、日语、韩语、阿拉伯语、越南语等。
- *技术架构**：采用朴素动态分辨率处理和多模态旋转位置嵌入技术，能够同时捕捉一维文本、二维视觉和三维视频的位置信息。
基准测试性能
本模型在以下基准测试中的准确率分别为：MMMU验证集64.00%、DocVQA验证集95.70%、MMBench开发集英文86.68%、MathVista MINI 69.20%。
推理速度与显存
测试环境为NVIDIA A100 80GB显卡。不同输入长度下的推理速度及显存占用如下：输入长度为1个标记时，速度11.04 tokens/秒，显存42.46GB；输入长度为6144时，速度7.62 tokens/秒，显存49.05GB；输入长度为14336时，速度5.39 tokens/秒，显存58.76GB；输入长度为30720时，速度3.27 tokens/秒，显存85.13GB。
运行要求
硬件需配备NVIDIA A100 80GB显卡。软件环境包括CUDA 11.8、PyTorch 2.2.1+cu118、Flash Attention 2.6.1、Transformers 4.38.2、AutoGPTQ 0.6.0+cu118。建议从源码安装最新版本的Hugging Face Transformers。
基本用法
支持本地文件、Base64编码和URL形式的图像输入，视频输入目前仅支持本地文件。模型支持广泛的分辨率范围，默认使用原生分辨率，更高分辨率可提升性能但增加计算成本。用户可通过设置最小和最大像素值来平衡速度与显存占用，像素值范围建议设为256-1280个标记。也可直接指定调整后的高度和宽度，这些值会自动四舍五入到28的倍数。
使用限制
本模型存在以下已知限制：无法理解视频中的音频信息；图像数据集更新至2023年6月，此后信息可能未覆盖；对特定人物或知识产权的识别能力有限；复杂多步骤指令的理解和执行能力有待提升；复杂场景中的物体计数精度不足；空间推理能力较弱，尤其在三维空间中难以准确判断物体相对位置。
许可证
本模型基于阿里云许可协议发布。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。