模型介绍
中文整理Qwen2.5-7B-Instruct-1M
模型用途
长上下文对话模型，是Qwen2.5系列的长上下文版本，支持最高100万tokens的上下文长度。
主要能力
支持最长约101万tokens的上下文输入，可生成最长8192 tokens的输出。在长上下文任务处理上相比128K版本有显著提升，同时保持短任务处理能力。
输入输出
输入：最长1,010,000 tokens
输出：生成最长8192 tokens
运行要求
建议使用最新版本的Hugging Face Transformers库。推荐使用官方自定义vLLM进行部署，该版本引入稀疏注意力和长度外推方法，可确保长上下文任务的效率和准确性。若使用之前支持Qwen2.5的框架进行推理，超过262,144 tokens的序列可能出现精度下降。
基本用法
通过Transformers库加载模型进行推理。
模型规格
类型：因果语言模型
训练阶段：预训练和后训练
架构：Transformer解码器，使用RoPE位置编码、SwiGLU激活函数、RMSNorm归一化、Attention QKV偏置
参数总量：7.61B
非嵌入参数：6.53B
层数：28
注意力头数：28个Q头，4个KV头
限制
使用非官方vLLM版本时，超过262,144 tokens的输入可能出现精度下降。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。