模型介绍
中文整理介绍（Introduction）
源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。
更为详细的使用信息，可以参考：
源2.0 论文
github项目地址
评测结果
我们提供了HumanEval，AGIEval-GK-Math，GSM8K和TruthfulQA的评估脚本。在4个典型任务上，我们用源2.0不同版本模型上进行了性能测试。
Model GSM8K AGIEval-GK-Math-QA AGIEval-GK-Math-Cloze HumanEval TurthfulQA
- ---------------- :----: :------------: :---------------: :-------: ----------
GPT-4 92% 47.0% 16.1% 86.6% 59%
ChatGPT 68.6%\* 36.5% 7.3% 66.5%\* 34%\*
Llama2 56.8% - - 29.9% -
源2.0-102B 76.6% 38.7% 13.5% 67.1% 58%
源2.0-102B-SC 86.2% 45.5% 15.2% 77.4% -
\* 使用与源2.0完全相同的输入数据对ChatGPT进行测试，时间2023年11月
快速启动
数据集介绍及预处理
源2.0通过使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，结合高效的数据清洗流程，为大模型训练提供了高质量的专业数据集和逻辑推理数据集。
预训练与微调
本项目已在Yuan-2.0开源了训练、测试和推理代码，使用者可按下面方式下载安装使用：
考虑到推理服务的效率，源2.0-51B和源2.0-102B模型在启动推理服务之前，需要将模型转换成只有张量并行的模型文件。
更多使用说明，请参考我们的github仓库。
协议
对该模型的原代码仓库使用遵循开源许可协议 Apache 2.0。
源2.0模型支持商用，不需要申请授权，请您了解并遵循《源2.0模型许可协议》，勿将开源模型和代码及基于开源项目产生的衍生物用于任何可能给国家和社会带来危害的用途以及用于任何未经过安全评估和备案的服务。
尽管模型在训练时我们已采取措施尽力确保数据的合规性和准确性，但模型参数量巨大且受概率随机性因素影响，我们无法保证输出内容的准确性，且模型易被输入指令所误导，本项目不承担开源模型和代码导致的数据安全、舆情风险或发生任何模型被误导、滥用、传播、不当利用而产生的风险和责任。**您将对通过使用、复制、分发和修改模型等方式利用该开源项目所产生的风险与后果，独自承担全部责任。**
引用
欢迎阅读我们的技术报告 YUAN 2.0: A Large Language Model with Localized Filtering-based Attention！
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。