模型介绍
中文整理Qwen2-7B-Instruct-GPTQ-Int4 模型卡片
模型用途
Qwen2-7B-Instruct-GPTQ-Int4 是阿里云发布的指令微调大语言模型，采用GPTQ Int4量化技术，适用于对话生成和文本任务处理。
主要能力
支持语言理解、语言生成、多语言能力、编程代码、数学推理等功能。在多项基准测试中表现优于多数开源模型，具有与闭源模型竞争的能力。支持最长131,072个tokens的上下文长度，可处理超长文本。采用YARN技术增强模型在长文本场景下的长度外推能力。
输入输出
输入：文本形式的用户指令或对话内容
输出：模型生成的文本回复
运行要求
推荐使用Hugging Face Transformers库，版本需大于等于4.37.0。推荐使用vLLM进行部署以获得更好的推理性能。模型采用Int4量化，可在消费级GPU上运行。
基本用法
通过apply chat template加载tokenizer和模型进行内容生成。使用vLLM部署时可启用长上下文能力，需在config.json中添加rope scaling配置。注意：仅在需要处理长上下文时添加rope scaling配置，因为在短文本上可能影响性能。
限制
vLLM目前仅支持静态YARN，即缩放因子在不同输入长度下保持恒定，可能对短文本性能产生影响。部署时可能出现RuntimeError: probability tensor contains either inf, nan or element =0.7.1的错误。
许可证
原文未提供具体的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。