All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

songci

peaceminuczy/songci

Publisherpeaceminuczy

Download access requirementsModelScope source

GPT-3模型是一个通用的预训练生成模型,使用Transformer的Decoder-only结构,可以用于解决下游各种类型的生成任务,特别是zero-shot生成能力。模型利用大量无监督数据,通过自回归任务进行预训练。可以用于解决文本生成相关的任务包含:文本摘要、问题生成、data-to-text等。 GPT-3模型使用Transformer的 Decoder结构,并对Transformer Decoder进行了一些改动,原本的Decoder包含了两个 Multi-Head

Text Chat
Model details

模型介绍

中文整理

GPT-3文本生成模型介绍

GPT-3模型是一个通用的预训练生成模型,使用Transformer的Decoder-only结构,可以用于解决下游各种类型的生成任务,特别是zero-shot生成能力。模型利用大量无监督数据,通过自回归任务进行预训练。可以用于解决文本生成相关的任务包含:文本摘要、问题生成、data-to-text等。

模型描述

GPT-3模型使用Transformer的 Decoder结构,并对Transformer Decoder进行了一些改动,原本的Decoder包含了两个 Multi-Head Attention 结构,GPT-3只保留了 Mask Multi-Head Attention,利用常规的语言建模优化,从左到右的自回归预训练。本模型是基于GPT-3的代码结合大量中文无监督数据和下游任务数据预训练得到,我们训练了多种不同参数的模型,此处展示的是GPT-3 Large模型。GPT-3模型介绍,详见:Language Models are Few-Shot Learners

\

本项目我们复现了一系列不同规模的中文GPT3模型,包括base/large/1.3B/2.7B/13B/30B/175B等,本模型是其中large的版本。全部版本如下表所示:

Model Layers Heads d model LR Batch

  • -- --- --- --- --- ---

base 12 12 768 6.0e-4 0.5M

large 24 16 1024 3.0e-4 0.5M

  • 3B 24 32 2048 2.0e-4 2M
  • 7B 32 32 2560 1.6e-4 2M

13B 40 40 5120 1.0e-4 6M

30B 48 56 7168 1.0e-4 6M

175B(work in process) 96 96 12288 1.2e-4 6M

期望模型使用方式以及适用范围

本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容,然后让模型去回答、续写或者根据指令回复

如何使用

在安装完成MaaS-lib之后即可使用GPT-3的text-generation的能力

代码范例

模型局限性以及可能的偏差

模型在数据集上训练,有可能产生一些偏差,请用户自行评测后决定如何使用。

训练数据介绍

本模型采用无监督数据和有监督下游数据相结合的方式对GPT-3进行预训练,其中无监督数据包含公开可下载的语料,有监督数据包含摘要、诗词、作文等数据集

模型训练流程

预处理

训练数据只需包含src txt字段,推荐使用MsDataset包装后使用ModelScope的Trainer进行训练。

训练

数据评估及结果

相关论文以及引用信息

如果GPT-3模型对您有帮助,请您引用该模型的相关文章:

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top