闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

openPangu-Embedded-7B-model-GPU

wangrongsheng/openPangu-Embedded-7B-model-GPU

发布机构wangrongsheng

下载访问条件魔搭来源

This is a GPU version! openPangu-Embedded-7B 是基于昇腾 NPU 从零训练的高效大语言模型,参数量为 7B(不含词表Embedding)。openPangu-Embedded-7B 训练了约 19T tokens,具备快慢思考融合能力。 openPangu-Embedded-7B

文字对话
模型详情

模型介绍

中文整理

This is a GPU version!

开源盘古 Embedded-7B

中文 English

  • 简介

openPangu-Embedded-7B 是基于昇腾 NPU 从零训练的高效大语言模型,参数量为 7B(不含词表Embedding)。openPangu-Embedded-7B 训练了约 19T tokens,具备快慢思考融合能力。

  • 模型架构

openPangu-Embedded-7B

:---------------------------: :----------------:

  • *Architecture** Dense
  • *Parameters (Non-Embedding)** 7B
  • *Number of Layers** 34
  • *Hidden Dimension** 12800
  • *Attention Mechanism** GQA
  • *Number of Attention Heads** 32 for Q,8 for KV
  • *Vocabulary Size** 153k
  • *Context Length (Natively)** 32k
  • *Pretraining Tokens** 19T
  • 测评结果

测评集 测评指标 慢思考

:---: :---: :---:

  • *通用能力**

MMLU-Pro Exact Match 76.32

CMMLU Acc 75.59

ArenaHard v0.1 w/o style control 85.80

C-Eval Acc 83.05

GPQA-Diamond Avg@4 70.54

  • *数学能力**

MATH-500 Avg@1 95.00

AIME24 Avg@16 71.57

AIME25 Avg@16 58.24

  • *代码能力**

LiveCodeBench Avg@2 (08/24~01/25) 54.04

MBPP+ Avg@2 76.06

注:** 评测过程中system prompt 为空,且不添加任何额外的思维链(CoT)提示。评测采用 128k 的序列长度进行。

  • 部署和使用
  • 1 环境准备

硬件规格

Atlas 800T A2 (64GB),驱动与固件安装包获取请参照 [Atlas 800T A2]。

软件环境

操作系统:Linux(推荐 openEuler>=24.03)

CANN==8.1.RC1,安装准备及流程请参照 CANN Install

python==3.10

torch==2.1.0

torch-npu==2.1.0.post12

transformers==4.53.2

以上软件配套经过验证,理论可以支持更高版本,如有疑问,可以提交 issue。

  • 2 权重完整性校验

请参考以下方法对下载内容进行完整性校验,hash 值存储在 checklist.chk 文件中。

  • 3 推理样例

下述内容提供 openPangu-Embedded-7B 在 transformers 框架上进行推理的一个简单示例:

运行前请修改 generate.py,添加模型路径。

openPangu-Embedded-7B 模型默认为慢思考模式,可以通过以下手段切换至快思考模式:

在代码实例 generate.py 中, no thinking prompt 变量的定义展示了切换至快思考模式的具体实现:通过在用户输入末尾添加 /no think 标记,可将当前轮次切换至快思考模式。处于该模式时, thinking content 将为空值。

  • 模型许可证

除文件中对开源许可证另有约定外,openPangu-Embedded-7B 模型根据 OPENPANGU MODEL LICENSE AGREEMENT VERSION 1.0 授权,旨在允许使用并促进人工智能技术的进一步发展。有关详细信息,请参阅模型存储库根目录中的 LICENSE 文件。

  • 免责声明

由于 openPangu-Embedded-7B(“模型”)所依赖的技术固有的技术限制,以及人工智能生成的内容是由盘古自动生成的,华为无法对以下事项做出任何保证:

尽管该模型的输出由 AI 算法生成,但不能排除某些信息可能存在缺陷、不合理或引起不适的可能性,生成的内容不代表华为的态度或立场;

无法保证该模型 100% 准确、可靠、功能齐全、及时、安全、无错误、不间断、持续稳定或无任何故障;

该模型的输出内容不构成任何建议或决策,也不保证生成的内容的真实性、完整性、准确性、及时性、合法性、功能性或实用性。生成的内容不能替代医疗、法律等领域的专业人士回答您的问题。生成的内容仅供参考,不代表华为的任何态度、立场或观点。您需要根据实际情况做出独立判断,华为不承担任何责任。

  • 反馈

如果有任何意见和建议,请提交issue或联系 openPangu@huawei.com。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部