模型介绍
中文整理Wenzhong-GPT2-3.5B
Github: Fengshenbang-LM
Docs: Fengshenbang-Docs
简介 Brief Introduction
善于处理NLG任务，目前最大的，中文版的GPT2
Focused on handling NLG tasks, the current largest, Chinese GPT2.
模型分类 Model Taxonomy
需求 Demand 任务 Task 系列 Series 模型 Model 参数 Parameter 额外 Extra
:----: :----: :----: :----: :----: :----:
通用 General 自然语言生成 NLG 闻仲 Wenzhong GPT2 3.5B 中文 Chinese
模型信息 Model Information
为了可以获得一个强大的单向语言模型，我们采用GPT模型结构，并且应用于中文语料上。具体地，这个模型拥有30层解码器和35亿参数，这比原本的GPT2-XL还要大。我们在100G的中文语料上预训练，这消耗了32个NVIDIA A100显卡大约28小时。据我们所知，它是目前最大的中文的GPT模型。
To obtain a robust unidirectional language model, we adopt the GPT model structure and apply it to the Chinese corpus. Specifically, this model has 30 decoder layers and 3.5 billion parameters, which is larger than the original GPT2-XL. We pre-train it on 100G of Chinese corpus, which consumes 32 NVIDIA A100 GPUs for about 28 hours. To the best of our knowledge, it is the largest Chinese GPT model currently available.
使用 Usage
引用 Citation
如果您在您的工作中使用了我们的模型，可以引用我们的论文：
If you are using the resource for your work, please cite the our paper:
也可以引用我们的网站:
You can also cite our website:
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。