Model details
模型介绍
中文整理GPT-2文本生成模型介绍
GPT-2 是一个 transformer 模型，以自我监督的方式在大量英语数据集上进行预训练。 这意味着它仅在原始文本上进行了预训练，没有以任何方式进行标记，，并通过自动过程从这些文本生成输入和标签。 也可以说，它被训练来猜测句子中的下一个单词。
对于训练而言，输入是一定长度的连续文本序列，目标是相同的序列，向右移动一个标记（单词或单词片段）。 该模型在内部使用掩码机制来确保对第 i 个 token 的预测仅使用从 1 到 i 的输入，不包括后续的内容。
通过这种方式，该模型学习了输入语料的内部表示，然后可用于提取对下游任务有用的特征。 这是 GPT-2 的 base 版本，有 124M 参数。
模型描述
GPT-2模型使用 Transformer 的 Decoder 结构，并对 Transformer Decoder 进行了一些改动，原本的 Decoder 包含了两个 Multi-Head Attention 结构，GPT-2只保留了 Self Mask Multi-Head Attention，利用常规的语言建模优化，从左到右的自回归预训练。
期望模型使用方式以及适用范围
本模型主要用于多种场景输入的生成和续写。比如用户可以自行尝试输入各种内容，然后让模型去回答、续写或者根据指令回复
如何使用
在安装完成MaaS-lib之后即可使用GPT-2的text-generation的能力
代码范例
模型局限性以及可能的偏差
模型在大量无标注的英文数据集上训练，有可能产生一些偏差，请用户自行评测后决定如何使用。
训练数据介绍
本模型采用无监督数据对GPT-2进行训练，其中无监督数据为公开可下载的语料
模型训练流程
本模型暂不支持在 ModelScope 进行训练
相关论文以及引用信息
如果GPT-2模型对您有帮助，请您引用该模型的相关文章：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
