模型详情
模型介绍
中文整理Qwen2-VL-72B-Instruct-AWQ
模型用途
Qwen2-VL-72B-Instruct-AWQ是一个经过指令微调的大规模视觉语言模型，采用AWQ量化技术，可用于图像理解、视频理解、视觉问答、内容创作等任务，也可作为Agent集成到手机、机器人等设备中实现自动化操作。
主要能力
- *图像理解**：支持任意分辨率和宽高比的图像处理，在MathVista、DocVQA、RealWorldQA、MTVQA等视觉理解基准测试中达到领先水平。
- *视频理解**：能够理解超过20分钟的视频，支持基于视频的高质量问答、对话和内容创作。
- *设备控制**：具备复杂推理和决策能力，可与手机、机器人等设备集成，根据视觉环境和文本指令实现自动化操作。
- *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括欧洲主要语言、日语、韩语、阿拉伯语、越南语等。
- *动态分辨率处理**：采用Naive Dynamic Resolution技术，将任意图像映射为动态数量的视觉 tokens，提供更接近人类的视觉处理体验。
- *多模态位置编码**：采用M-ROPE技术，将位置嵌入分解为多个部分，分别捕捉一维文本、二维视觉和三维视频的位置信息。
输入输出
- *输入**：支持本地文件、Base64编码、URL链接的图像和视频输入，支持多图像和批量推理。
- *输出**：文本回复，包括问答、描述、推理结果等。
运行要求
- *硬件环境**：NVIDIA A100 80GB GPU
- *软件环境**：
CUDA 11.8
PyTorch 2.2.1+cu118
Flash Attention 2.6.1
Transformers 4.38.2
AutoAWQ 0.2.5+cu118
- *安装要求**：需要使用最新版本的Hugging Face Transformers，建议从源码安装：pip install git+https://github.com/huggingface/transformers
- *显存需求**：AWQ量化版本在输入长度为1时约需42GB显存，输入长度为30720时约需95GB显存。
基本用法
- *图像输入**：支持本地文件、Base64编码和URL三种方式。
- *分辨率设置**：模型默认使用原生分辨率，更高分辨率可提升性能但增加计算量。用户可通过设置最小和最大像素数来平衡速度和显存，例如token数量范围256-1280。
- *精细控制**：支持两种方式控制图像尺寸——定义最小和最大像素值（图像将在范围内保持宽高比调整），或直接指定调整后的宽高（值将四舍五入到28的倍数）。
限制
- 不支持音频理解：当前模型无法理解视频中的音频信息。
- 数据时效性：图像数据集更新至2023年6月，之后的信息可能未覆盖。
- 个人和知识产权识别有限：模型识别特定个人或品牌的能力有限，可能无法全面覆盖所有知名人物或品牌。
- 复杂指令理解能力不足：面对复杂的多步骤指令时，模型的理解和执行能力有待提升。
- 计数准确性不高：在复杂场景中，对物体计数的准确性较低，需要进一步改进。
- 空间推理能力较弱：尤其在三维空间中，模型对物体位置关系的推断不足，难以精确判断物体的相对位置。
许可证
请参考模型发布页面获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。