Model details
模型介绍
中文整理GPT-3文本生成模型介绍
GPT-3模型是一个通用的预训练生成模型,使用Transformer的Decoder-only结构,可以用于解决下游各种类型的生成任务,特别是zero-shot生成能力。模型利用大量无监督数据,通过自回归任务进行预训练。可以用于解决文本生成相关的任务包含:文本摘要、问题生成、data-to-text等。
模型描述
GPT-3模型使用Transformer的 Decoder结构,并对Transformer Decoder进行了一些改动,原本的Decoder包含了两个 Multi-Head Attention 结构,GPT-3只保留了 Mask Multi-Head Attention,利用常规的语言建模优化,从左到右的自回归预训练。本模型是基于GPT-3的代码结合大量中文无监督数据和下游任务数据预训练得到,我们训练了多种不同参数的模型,此处展示的是GPT-3 Large模型。GPT-3模型介绍,详见:Language Models are Few-Shot Learners
\
本项目我们复现了一系列不同规模的中文GPT3模型,包括base/large/1.3B/2.7B/13B/30B/175B等,本模型是其中large的版本。全部版本如下表所示:
Model Layers Heads d model LR Batch
base 12 12 768 6.0e-4 0.5M
large 24 16 1024 3.0e-4 0.5M
- 3B 24 32 2048 2.0e-4 2M
- 7B 32 32 2560 1.6e-4 2M
13B 40 40 5120 1.0e-4 6M
30B 48 56 7168 1.0e-4 6M
175B(work in process) 96 96 12288 1.2e-4 6M
期望模型使用方式以及适用范围
本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容,然后让模型去回答、续写或者根据指令回复
如何使用
在安装完成MaaS-lib之后即可使用GPT-3的text-generation的能力
代码范例
模型局限性以及可能的偏差
模型在数据集上训练,有可能产生一些偏差,请用户自行评测后决定如何使用。
训练数据介绍
本模型采用无监督数据和有监督下游数据相结合的方式对GPT-3进行预训练,其中无监督数据包含公开可下载的语料,有监督数据包含摘要、诗词、作文等数据集
模型训练流程
预处理
训练数据只需包含src txt字段,推荐使用MsDataset包装后使用ModelScope的Trainer进行训练。
训练
数据评估及结果
相关论文以及引用信息
如果GPT-3模型对您有帮助,请您引用该模型的相关文章:
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.