模型介绍
中文整理通义千问2.5-72B-Chat-GPTQ-Int4-量化修复
原模型 qwen/Qwen2.5-72B-Instruct
【模型更新日期】
注：通过 snapshot download 函数传入 revision=... 来下载指定的 tag 版本
【模型列表】
tag 文件大小 最近更新时间
- -------- -------- --------------
g128 39GB 2024-11-01
g32v2 43GB 2024-11-01
如果启动时候遇到 gptq marlin 报错，需要强行指定 --quantization gptq。
【修复内容】
- 对GPTQ量化的校准做了额外优化；减少模型的 1.乱吐字 、 2.无限循环 、 3.长文能力丢失 等情况。
- 有些推理框架的默认 top k 与 top p 较大，可以考虑减小对应数值，来获得更合理的模型输出。
- 根据模型实际情况，可以支持1卡、2卡及4卡的 tensor-parallel-size 启动。
【介绍】
Qwen2.5 is the latest series of Qwen large language models. For Qwen2.5, we release a number of base language models and instruction-tuned language models ranging from 0.5 to 72 billion parameters. Qwen2.5 brings the following improvements upon Qwen2:
Significantly **more knowledge** and has greatly improved capabilities in **coding** and **mathematics**, thanks to our specialized expert models in these domains.
Significant improvements in **instruction following**, **generating long texts** (over 8K tokens), **understanding structured data** (e.g, tables), and **generating structured outputs** especially JSON. **More resilient to the diversity of system prompts**, enhancing role-play implementation and condition-setting for chatbots.
- *Long-context Support** up to 128K tokens and can generate up to 8K tokens.
- *Multilingual support** for over 29 languages, including Chinese, English, French, Spanish, Portuguese, German, Italian, Russian, Japanese, Korean, Vietnamese, Thai, Arabic, and more.
For more details, please refer to our blog, GitHub, and Documentation.
【模型下载】
【高并发RESTFul API推理】
方式1：vllm
方式2：sglang
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。