闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Qwen2.5-VL-7B-Instruct-GPTQ-Int3

ChineseAlpacaGroup/Qwen2.5-VL-7B-Instruct-GPTQ-Int3

发布机构ChineseAlpacaGroup

下载访问条件魔搭来源

Qwen2.5-VL-7B-Instruct-GPTQ-Int3 This is an UNOFFICIAL GPTQ-Int3 quantized version of the Qwen2.5-VL model using gptqmodel library. The model is compatible with the latest transformers library (which can run non-quantized Qwen2.5-VL models)

图文理解
模型详情

模型介绍

中文整理

Qwen2.5-VL-7B-Instruct-GPTQ-Int3

This is an **UNOFFICIAL** GPTQ-Int3 quantized version of the Qwen2.5-VL model using gptqmodel library.

The model is compatible with the latest transformers library (which can run non-quantized Qwen2.5-VL models).

Performance

Model Size (Disk) ChartQA (test) OCRBench

  • ----------------------------------------------------------- :---------: :------------: :------:

Qwen2.5-VL-3B-Instruct 7.1 GB 83.48 791

Qwen2.5-VL-3B-Instruct-AWQ 3.2 GB 82.52 786

  • *Qwen2.5-VL-3B-Instruct-GPTQ-Int4** 3.2 GB 82.56 784
  • *Qwen2.5-VL-3B-Instruct-GPTQ-Int3** 2.9 GB 76.68 742

Qwen2.5-VL-7B-Instruct 16.0 GB 83.2 846

Qwen2.5-VL-7B-Instruct-AWQ 6.5 GB 79.68 837

  • *Qwen2.5-VL-7B-Instruct-GPTQ-Int4** 6.5 GB 81.48 845
  • *Qwen2.5-VL-7B-Instruct-GPTQ-Int3** 5.8 GB 78.56 823

Note

Evaluations are performed using lmms-eval with default setting.

GPTQ models are computationally more effective (fewer VRAM usage, faster inference speed) than AWQ series in these evaluations.

We recommend use gptqmodel instead of autogptq library, as autogptq is no longer maintained.

Quick Tour

Install the required libraries:

Optionally, you may need to install:

Sample code:

Response:

这张图片展示了一个中文和英文的标志,内容为“中文LLaMA & Alpaca大模型”和“Chinese LLaMA & Alpaca Large Language Models”。标志左侧有两个卡通形象,一个是红色围巾的羊驼,另一个是白色毛发的羊驼,背景是一个绿色的草地和一座红色屋顶的建筑。标志右侧有一个数字3,旁边有一些电路图案。整体设计简洁明了,使用了明亮的颜色和可爱的卡通形象来吸引注意力。

Disclaimer

  • *This is NOT an official model by Qwen. Use at your own risk.**

For detailed usage, please check Qwen2.5-VL's page.

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部