模型介绍
中文整理Qwen2.5-14B-Instruct-1M
模型简介
Qwen2.5-1M是Qwen2.5系列模型的长上下文版本，支持最高100万tokens的上下文长度。与Qwen2.5 128K版本相比，该模型在处理长上下文任务时性能显著提升，同时保持了在短任务上的能力。
主要能力
该模型为因果语言模型，采用预训练和后训练两阶段训练。模型基于transformers架构，集成RoPE位置编码、SwiGLU激活函数、RMSNorm归一化以及Attention QKV偏置技术。在长上下文任务中具有出色的处理能力，同时兼顾短文本处理性能。
参数规格
模型总参数规模为147亿，非嵌入参数约131亿。模型包含48层网络，采用分组查询注意力机制，Query头数为40，Key-Value头数为8。上下文支持方面，输入端最高可达101万tokens，输出端最高支持8192 tokens。
运行要求
建议使用最新版本的Hugging Face transformers库进行部署。为获得最佳长上下文任务性能，推荐使用官方自定义版vLLM进行部署，该版本引入了稀疏注意力和长度外推技术，可确保长上下文任务的效率和准确性。若使用其他支持Qwen2.5的推理框架，当序列长度超过262144 tokens时可能出现准确率下降。
基本用法
通过Hugging Face transformers库加载模型即可使用。对于长上下文场景，建议优先采用官方自定义vLLM部署方案以获得更优的性能表现。
使用限制
使用非自定义vLLM框架时，当输入序列长度超过262144 tokens，模型生成准确率可能下降。
许可证
请参阅模型发布页面获取完整的许可证信息。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。