模型详情
模型介绍
中文整理# Qwen2-VL-2B-Instruct-GPTQ-Int4 模型卡片
模型用途
Qwen2-VL是通义千问视觉语言模型的最新迭代版本，支持图像理解、视频理解、视觉问答、内容创作等任务，可作为Agent集成到手机、机器人等设备中实现自动化操作。
## 主要能力
- *视觉理解能力**：在视觉理解基准测试中达到领先水平，包括MathVista、DocVQA、RealWorldQA、MTVQA等。
- *视频理解能力**：可理解超过20分钟的视频，支持高质量的基于视频的问答、对话和内容创作。
- *设备操作能力**：具备复杂推理和决策能力，可与手机、机器人等设备集成，根据视觉环境和文本指令实现自动化操作。
- *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。
- *动态分辨率处理**：支持任意图像分辨率，将其映射为动态数量的视觉 tokens，提供更接近人类的视觉处理体验。
- *多模态位置编码**：将位置嵌入分解为多个部分，分别捕捉一维文本、二维视觉和三维视频的位置信息。
## 输入输出
- *支持输入**：本地图像文件、Base64编码图像、图像URL、视频文件（仅支持本地文件）。
- *图像分辨率**：模型支持广泛的分辨率输入。默认使用原生分辨率，更高分辨率可提升性能但增加计算量。用户可设置最小和最大像素数来平衡速度和内存，例如设置token数量范围为256-1280。
- *控制方式**：可定义最小和最大像素范围（图像将在此范围内保持宽高比调整），或直接指定调整后的高度和宽度（值将四舍五入到28的倍数）。
运行要求
- *硬件环境**：NVIDIA A100 80GB GPU
- *软件环境**：
- CUDA 11.8
- PyTorch 2.2.1+cu118
- Flash Attention 2.6.1
- Transformers 4.38.2
- AutoGPTQ 0.6.0+cu118
- AutoAWQ 0.2.5+cu118
- *安装要求**：需要从源码安装最新版本的Hugging Face Transformers，命令为：pip install git+https://github.com/huggingface/transformers
基本用法
提供工具包帮助处理各种类型的视觉输入，包括Base64、URL和交错的图像与视频。
限制
- **不支持音频**：当前模型无法理解视频中的音频信息。
- **数据时效性**：图像数据集更新至2023年6月，此后信息可能未覆盖。
- **个人和知识产权识别受限**：模型识别特定个人或知识产权的能力有限，可能无法全面覆盖所有知名人物或品牌。
- **复杂指令理解能力有限**：面对复杂的多步骤指令时，模型的理解和执行能力有待提升。
- **计数准确性不足**：特别是在复杂场景中，对象计数的准确性不高，需要进一步改进。
- **空间推理能力较弱**：尤其在三维空间中，模型对物体位置关系的推断不足，难以精确判断物体的相对位置。
这些局限性是模型优化和改进的持续方向，团队将不断提升模型性能和适用范围。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。