Qwen2-VL-72B-Instruct-GPTQ-Int8

Qwen2-VL-72B-Instruct-GPTQ-Int8

模型用途

Qwen2-VL是一款多模态视觉语言模型，可处理图像和视频理解任务，支持基于视觉的高质量问答、对话、内容创作等应用场景。该模型经过指令微调，可根据用户指令完成各类视觉理解任务。

主要能力

Qwen2-VL具备以下核心能力：支持各种分辨率和比例图像的先进视觉理解；在视频理解方面可处理超过20分钟的时长；具备复杂推理和决策能力，可与手机、机器人等设备集成，实现基于视觉环境和文本指令的自动操作；支持多语言理解，除英语和中文外，还支持图像中多种语言的文本识别，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。

模型采用朴素动态分辨率技术，可处理任意图像分辨率并映射为动态数量的视觉 tokens。同时使用多模态旋转位置嵌入技术，将位置嵌入分解为多个部分，分别捕捉一维文本、二维视觉和三维视频的位置信息。

输入输出

输入：支持图像（本地文件、base64、URL）、视频（仅支持本地文件）、文本指令

输出：文本回复

运行要求

硬件：NVIDIA A100 80GB

软件环境：CUDA 11.8、Pytorch 2.2.1+cu118、Flash Attention 2.6.1、Transformers 4.38.2、AutoGPTQ 0.6.0+cu118

建议从源码安装最新版本Hugging Face Transformers：pip install git+https://github.com/huggingface/transformers

基本用法

可通过transformers库和qwen vl utils工具包使用模型。模型支持设置最小和最大像素值来控制图像尺寸，以平衡速度和内存消耗。用户也可直接指定调整后的高度和宽度，这些值会被四舍五入到28的倍数。

限制

该模型存在以下已知限制：不理解视频中的音频信息；图像数据集更新至2023年6月，此后信息可能未覆盖；识别特定个人或知识产权的能力有限；复杂多步骤指令的理解和执行能力有待提升；物体计数准确性不高，尤其在复杂场景中；空间推理能力较弱，特别是在三维空间中难以精确判断物体相对位置。