nlp_gpt3_sft_text-generation_1.3B

GPT3 SFT微调中文1.3B参数量文本生成模型

本模型在中文GPT-3 1.3B预训练模型的基础上，通过有监督的sft数据训练得到，具备更强的通用生成能力，对话能力等。目前模型可以支持单轮对话，多轮对话，知识增强等不同输入模式。

模型描述

GPT-3模型使用Transformer的Decoder结构，并对Transformer Decoder进行了一些改动，原本的Decoder包含了两个 Multi-Head Attention 结构，GPT-3只保留了 Mask Multi-Head Attention，利用常规的语言建模优化，从左到右的自回归预训练。本模型是基于GPT-3的代码结合大量中文无监督数据和下游任务数据预训练得到，我们训练了多种不同参数的模型

，GPT-3模型介绍，详见：Language Models are Few-Shot Learners

本项目我们复现了一系列不同规模的中文GPT3模型，包括base/large/1.3B/2.7B/13B/30B/175B等，以及推出基于不同规模模型训练得到的sft微调版本模型，本模型是其中1.3B的版本。全部版本如下表所示：

Model Layers Heads d model LR Batch

• -- --- --- --- --- ---

base 12 12 768 6.0e-4 0.5M

large 24 16 1024 3.0e-4 0.5M

• 3B 24 32 2048 2.0e-4 2M
• 7B 32 32 2560 1.6e-4 2M

13B 40 40 5120 1.0e-4 6M

30B 48 56 7168 1.0e-4 6M

175B(work in process) 96 96 12288 1.2e-4 6M

期望模型使用方式以及适用范围

本模型可直接用于文本生成，也可以通过finetune用于各类文本理解的任务。用户可以自行尝试各种输入文档。具体调用方式请参考代码示例。

如何使用

在安装完成ModelScope library之后即可使用GPT-3的text-generation的能力。目前我们免费提供试用的Notebook环境，使用的是单卡GPU，由于显存限制仅可以运行pipeline推理，如果用户在使用Notebook环境时想要运行训练，推荐使用更小规模的large/base版本

【注意】请使用 transformers==4.33.0 运行下面代码**

代码范例

模型局限性以及可能的偏差

模型训练数据来源于网络，生成结果可能存在一定偏差。

训练数据介绍

训练数据包括中文维基百科、网络上公开文本数据。

模型训练流程

本模型的预训练分为两个阶段。第一阶段严格按照原始GPT3的参数设置进行：在中文wiki/ Common crawl等无监督数据上，通过自回归的训练任务训练了约300B字得到。第二阶段中，我们加入了多种有监督数据继续训练，使得模型具备多种任务的zero-shot的处理能力。

我们为GPT3模型支持了续写训练与输入输出形式的训练，训练方式不需要额外指定，训练数据集仅包含 src txt 时会进行续写训练，同时包含 src txt 和 tgt txt 时会进行输入输出形式的训练。以下将为两种训练方式提供示例代码。

训练准备（重要）

目前对于GPT3 1.3B/2.7B 两个模型我们在训练阶段支持了运行时的模型自动拆分功能，因此不需要使用与训练tensor并行度匹配的checkpoint即可开始训练。需要注意的是，当使用并行训练时，务必提前在configuration.json中确认以下参数配置正确：

以单机8卡训练，2的数据并行度和4的tensor并行度（2dp+4tp）为例：

输入输出形式训练

下面是基于GPT-3中文1.3B模型在Dureader问题生成数据集上二次开发训练

以上为数据并行度为1的训练脚本，我们推荐使用 torchrun 拉起训练

单机单卡或单机多卡运行时，可以通过以下命令运行训练：

需要注意，目前1.3B参数量的GPT-3模型训练至少需要32G显存的gpu（如V100）才能进行单卡训练，或至少需要两张16G显存的gpu进行张量并行训练

推理加速

我们对大规模生成模型的推理速度进行了极致优化，13B模型128字的文本生成可以在1秒左右完成。

数据评估及结果

相关引用

我们将尽快推出本项目的技术报告，敬请期待！