模型详情
模型介绍
中文整理Qwen2-VL-2B-Instruct-GPTQ-Int8
模型简介
Qwen2-VL是Qwen-VL模型的最新迭代版本，代表了近一年的技术创新。
主要能力
- *图像理解**：在各种分辨率和比例的图像上达到最先进的性能，在MathVista、DocVQA、RealWorldQA、MTVQA等视觉理解基准测试中表现优异。
- *视频理解**：能够理解超过20分钟的视频，支持高质量的基于视频的问答、对话、内容创作等应用。
- *设备操作Agent**：具备复杂推理和决策能力，可与手机、机器人等设备集成，根据视觉环境和文本指令实现自动化操作。
- *多语言支持**：除英语和中文外，还支持图像中多种语言的文本理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。
模型架构
- *动态分辨率处理**：能够处理任意图像分辨率，将其映射为动态数量的视觉 tokens，提供更接近人类的视觉处理体验。
- *多模态旋转位置嵌入（M-ROPE）**：将位置嵌入分解为多部分，分别捕捉一维文本、二维视觉和三维视频的位置信息，增强多模态处理能力。
输入输出
- *输入支持**：本地文件、base64编码、URL以及交错排列的图像和视频。
- *输出**：文本回复。
运行要求
- *硬件环境**：NVIDIA A100 80GB GPU
- *软件环境**：CUDA 11.8、PyTorch 2.2.1+cu118、Flash Attention 2.6.1、Transformers 4.38.2、AutoGPTQ 0.6.0+cu118
- *安装要求**：需要使用最新版本的Hugging Face Transformers，建议通过以下命令从源码安装：pip install git+https://github.com/huggingface/transformers
基本用法
- *图像输入**：支持本地文件、base64编码和URL。
- *视频输入**：目前仅支持本地文件。
- *分辨率设置**：模型支持广泛的分辨率输入。默认使用原生分辨率，更高分辨率可提升性能但增加计算成本。用户可设置最小和最大像素数来平衡速度和内存使用，例如将token数量范围设置为256-1280。
- *精细控制方式**：一是定义最小和最大像素值，图像将在该范围内保持宽高比进行缩放；二是直接指定精确尺寸，这些值将四舍五入到28的倍数。
限制
- *无音频理解能力**：当前模型无法理解视频中的音频信息。
- *数据时效性**：图像数据集更新至2023年6月，该日期之后的信息可能未覆盖。
- *个人和知识产权识别受限**：模型识别特定个人或知识产权的能力有限，可能无法全面覆盖所有知名人物或品牌。
- *复杂指令理解能力不足**：面对复杂的多步骤指令时，模型的理解和执行能力有待提升。
- *计数准确性不足**：特别是在复杂场景中，对象计数的准确性不高，需要进一步改进。
- *空间推理能力较弱**：尤其在三维空间中，模型对物体位置关系的推断能力不足，难以精确判断物体的相对位置。
许可证
请参阅项目官方页面获取许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境
运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。