Qwen2-VL-7B-Instruct-AWQ

Qwen2-VL-7B-Instruct-AWQ 模型卡片

模型简介

Qwen2-VL是Qwen-VL模型的最新迭代版本，代表了近一年的技术创新。

主要能力

• *先进的图像理解能力**：Qwen2-VL在各种分辨率和宽高比的图像理解方面达到领先水平，在MathVista、DocVQA、RealWorldQA、MTVQA等视觉理解基准测试中表现优异。

• *长视频理解能力**：Qwen2-VL能够理解超过20分钟的视频，支持高质量的基于视频的问答、对话、内容创作等应用。

• *设备控制Agent能力**：具备复杂推理和决策能力，可与手机、机器人等设备集成，根据视觉环境和文本指令实现自动化操作。

• *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。

模型架构

• *动态分辨率处理**：与以往版本不同，Qwen2-VL能够处理任意图像分辨率，将其映射为动态数量的视觉标记，提供更接近人类的视觉处理体验。

• *多模态旋转位置嵌入**：将位置嵌入分解为多个部分，分别捕捉一维文本、二维视觉和三维视频的位置信息，增强多模态处理能力。

输入输出

• *输入支持**：支持本地文件、Base64编码、URL形式的图像和视频输入。

• *输出能力**：支持图像理解、视频问答、对话生成、内容创作等任务。

运行要求

• *硬件环境**：NVIDIA A100 80GB GPU

• *软件环境**：

CUDA 11.8

PyTorch 2.2.1+cu118

Flash Attention 2.6.1

Transformers 4.38.2

AutoGPTQ 0.6.0+cu118

AutoAWQ 0.2.5+cu118

• *安装要求**：需要使用最新版本的Hugging Face Transformers，建议通过以下命令从源码安装：pip install git+https://github.com/huggingface/transformers

基本用法

• *图像分辨率设置**：模型支持广泛的分辨率输入。默认使用原生分辨率，更高分辨率可提升性能但增加计算成本。用户可设置最小和最大像素数来平衡速度和内存使用，例如将标记数范围设置为256-1280。

• *图像尺寸控制方式**：
• 定义最小和最大像素：图像将在指定范围内保持宽高比进行调整
• 指定精确尺寸：直接设置调整后的高度和宽度，这些值将四舍五入到28的倍数

限制

• **不支持音频**：当前模型无法理解视频中的音频信息
• **数据时效性**：图像数据集更新至2023年6月，之后的信息可能未覆盖
• **个人和知识产权识别受限**：模型识别特定个人或知识产权的能力有限，可能无法全面覆盖所有知名人物或品牌
• **复杂指令理解能力有限**：面对复杂的多步骤指令时，模型的理解和执行能力有待提升
• **计数准确性不足**：在复杂场景中，对象计数的准确性不高，需要进一步改进
• **空间推理能力较弱**：尤其在三维空间中，模型对物体位置关系的推理能力不足，难以准确判断物体的相对位置

许可证

请参考模型发布页面获取完整的许可证信息。