Qwen2-VL-7B-Instruct-GPTQ-Int8

Qwen2-VL-7B-Instruct-GPTQ-Int8

模型用途

Qwen2-VL是一款多模态视觉语言模型，可处理图像和视频理解、基于视觉的问答对话、内容创作等任务，并能作为代理集成到手机、机器人等设备中，根据视觉环境和文本指令进行自动操作。

主要能力

该模型在视觉理解基准测试中达到领先水平，包括MathVista、DocVQA、RealWorldQA、MTVQA等。支持理解20分钟以上的长视频。支持多种语言除英语和中文外，还支持图像中大多数欧洲语言、日语、韩语、阿拉伯语、越南语等文本的理解。采用动态分辨率处理，可处理任意图像分辨率并映射为动态数量的视觉 tokens。采用多模态旋转位置嵌入技术，能同时捕捉一维文本、二维视觉和三维视频的位置信息。

输入输出

支持图像和视频输入。图像输入支持本地文件、base64编码和URL；视频输入仅支持本地文件。输出为文本回答。

运行要求

推荐使用NVIDIA A100 80GB显卡运行。软件环境要求CUDA 11.8、PyTorch 2.2.1+cu118、Flash Attention 2.6.1、Transformers 4.38.2、AutoGPTQ 0.6.0+cu118、AutoAWQ 0.2.5+cu118。需从源码安装最新版本Hugging Face Transformers。

基本用法

可通过设置min pixels和max pixels参数控制图像尺寸，图像将在该范围内保持宽高比进行缩放。也可直接指定resized height和resized width，数值会自动调整为28的倍数。默认使用原生分辨率，更高分辨率可提升性能但增加计算量。

限制

模型存在以下已知限制：不理解视频中的音频信息；图像数据集更新至2023年6月，之后的信息可能未覆盖；识别特定个人或知识产权的能力有限；复杂多步骤指令的理解和执行能力有待提升；物体计数准确性不高，尤其在复杂场景中；空间推理能力较弱，特别是在三维空间中难以准确判断物体相对位置。