模型介绍
中文整理This is a GPU version!
开源盘古 Embedded-7B
中文 English
- 简介
openPangu-Embedded-7B 是基于昇腾 NPU 从零训练的高效大语言模型,参数量为 7B(不含词表Embedding)。openPangu-Embedded-7B 训练了约 19T tokens,具备快慢思考融合能力。
- 模型架构
openPangu-Embedded-7B
:---------------------------: :----------------:
- *Architecture** Dense
- *Parameters (Non-Embedding)** 7B
- *Number of Layers** 34
- *Hidden Dimension** 12800
- *Attention Mechanism** GQA
- *Number of Attention Heads** 32 for Q,8 for KV
- *Vocabulary Size** 153k
- *Context Length (Natively)** 32k
- *Pretraining Tokens** 19T
- 测评结果
测评集 测评指标 慢思考
:---: :---: :---:
- *通用能力**
MMLU-Pro Exact Match 76.32
CMMLU Acc 75.59
ArenaHard v0.1 w/o style control 85.80
C-Eval Acc 83.05
GPQA-Diamond Avg@4 70.54
- *数学能力**
MATH-500 Avg@1 95.00
AIME24 Avg@16 71.57
AIME25 Avg@16 58.24
- *代码能力**
LiveCodeBench Avg@2 (08/24~01/25) 54.04
MBPP+ Avg@2 76.06
注:** 评测过程中system prompt 为空,且不添加任何额外的思维链(CoT)提示。评测采用 128k 的序列长度进行。
- 部署和使用
- 1 环境准备
硬件规格
Atlas 800T A2 (64GB),驱动与固件安装包获取请参照 [Atlas 800T A2]。
软件环境
操作系统:Linux(推荐 openEuler>=24.03)
CANN==8.1.RC1,安装准备及流程请参照 CANN Install
python==3.10
torch==2.1.0
torch-npu==2.1.0.post12
transformers==4.53.2
以上软件配套经过验证,理论可以支持更高版本,如有疑问,可以提交 issue。
- 2 权重完整性校验
请参考以下方法对下载内容进行完整性校验,hash 值存储在 checklist.chk 文件中。
- 3 推理样例
下述内容提供 openPangu-Embedded-7B 在 transformers 框架上进行推理的一个简单示例:
运行前请修改 generate.py,添加模型路径。
openPangu-Embedded-7B 模型默认为慢思考模式,可以通过以下手段切换至快思考模式:
在代码实例 generate.py 中, no thinking prompt 变量的定义展示了切换至快思考模式的具体实现:通过在用户输入末尾添加 /no think 标记,可将当前轮次切换至快思考模式。处于该模式时, thinking content 将为空值。
- 模型许可证
除文件中对开源许可证另有约定外,openPangu-Embedded-7B 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0 授权,旨在允许使用并促进人工智能技术的进一步发展。有关详细信息,请参阅模型存储库根目录中的 LICENSE 文件。
- 免责声明
由于 openPangu-Embedded-7B(“模型”)所依赖的技术固有的技术限制,以及人工智能生成的内容是由盘古自动生成的,华为无法对以下事项做出任何保证:
尽管该模型的输出由 AI 算法生成,但不能排除某些信息可能存在缺陷、不合理或引起不适的可能性,生成的内容不代表华为的态度或立场;
无法保证该模型 100% 准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障;
该模型的输出内容不构成任何建议或决策,也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考,不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断,华为不承担任何责任。
- 反馈
如果有任何意见和建议,请提交issue或联系 openPangu@huawei.com。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
