模型介绍
中文整理通义千问1.5-110B-Chat-GPTQ-Int3-量化修复
原模型 qwen/Qwen1.5-110B-Chat
【模型更新日期】
【模型大小】
- 9GB
【量化修复】
调优了现有 AWQ 与 GPTQ 量化算法的量化策略。带有 量化修复 标签的 Int3 模型，可以比肩默认 AWQ 与 GPTQ 算法的 Int8 模型的能力。
- 量化修复可以极大减少模型的 1.乱吐字 、 2.无限循环 、 3.长文能力丢失 等量化损失造成的模型不可用的情况。
- 调优后的量化模型， AWQ 与 GPTQ 模型在能力上没有表现出明显区别。同时考虑到 GPTQ 的 vLLM 引擎的并发推理效率最好，所以不再制作 AWQ 模型。
- 调优后的量化模型， int4 与 int3 模型在能力上没有表现出明显区别，所以也不再制作 int4 模型。
【同期量化修复模型】
模型名称 磁盘大小（GB）
- -------------------------------------------------------------------------------------------------------------------------------- ----------
零一万物-1.5-6B-Chat-GPTQ-Int3-量化修复 3.3
零一万物-1.5-9B-Chat-16K-GPTQ-Int3-量化修复 4.4
零一万物-1.5-34B-Chat-16K-GPTQ-Int3-量化修复 15.1
通义千问1.5-7B-Chat-GPTQ-Int3-量化修复 5.1
通义千问1.5-14B-Chat-GPTQ-Int3-量化修复 8.1
通义千问1.5-32B-Chat-GPTQ-Int3-量化修复 15.4
通义千问1.5-72B-Chat-GPTQ-Int3-量化修复 32.5
通义千问1.5-110B-Chat-GPTQ-Int3-量化修复 47.9
openbuddy-llama3-70b-v21.1-8k-GPTQ-Int3-量化修复 31.5
【模型下载】
【vLLM推理（目前仅限Linux）】
- Python 简易调试
- 类ChatGPT RESTFul API Server
【Transformer推理】
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。