模型介绍
中文整理Qwen2-VL-2B-Instruct-AWQ
模型用途
Qwen2-VL-2B-Instruct-AWQ是一个视觉语言模型，可处理图像和视频理解任务，适用于问答、对话、内容创作等场景。该模型可集成到手机、机器人等设备中，基于视觉环境和文本指令进行自动操作。
主要能力
该模型在视觉理解基准测试中达到先进水平，包括MathVista、DocVQA、RealWorldQA、MTVQA等。支持理解20分钟以上的长视频。除英语和中文外，还支持多种语言的图像文本理解，包括欧洲主要语言、日语、韩语、阿拉伯语、越南语等。
模型采用朴素动态分辨率技术，可处理任意图像分辨率并映射为动态数量的视觉 tokens。支持多模态旋转位置嵌入（M-ROPE），能够同时捕捉一维文本、二维视觉和三维视频的位置信息。
输入输出
输入：图像（支持本地文件、base64、URL）、视频（仅支持本地文件）、文本指令
输出：文本回答
运行要求
硬件环境：NVIDIA A100 80GB
软件环境：CUDA 11.8、Pytorch 2.2.1+cu118、Flash Attention 2.6.1、Transformers 4.38.2、AutoAWQ 0.2.5+cu118
需安装最新版本Hugging Face transformers，建议使用命令从源码安装。
基本用法
支持多种视觉输入类型，包括base64、URL和交错的图像与视频。模型支持广泛的分辨率范围，默认使用原生分辨率，更高分辨率可提升性能但增加计算成本。用户可通过设置最小和最大像素数来平衡速度和内存占用，例如将token数量范围设置为256-1280。也可直接指定调整后的高度和宽度，这些值会自动调整为28的倍数。
限制
该模型存在以下已知限制：不理解视频中的音频信息；图像数据集更新至2023年6月，之后的信息可能未覆盖；对特定个人或知识产权的识别能力有限；复杂多步骤指令的理解和执行能力有待提升；物体计数精度不高，特别是在复杂场景中；空间推理能力较弱，尤其在三维空间中难以准确判断物体相对位置。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。