Model details
模型介绍
中文整理基于StructBERT-mental的中文Base预训练模型介绍
StructBERT-mental的中文Base预训练模型是在StructBert的基础上使用Adapter的方式融合心理以及情感相关知识的中文自然语言理解预训练模型。
模型描述
模型在StructBERT的基础上，通过独立的Adapter使用动态权重mlm任务在知乎、心理论坛等1.03GB语料上进行训练，使得Adapter获得mental领域的知识，同时避免原有StructBert信息的遗忘。
本模型为Base规模（Layer-12 / Hidden-768 / Head-12)，参数规模约为111M。
期望模型使用方式以及适用范围
本模型主要用于中文相关（心理和情感任务为主）下游任务微调。用户可以基于自有训练数据进行微调。具体调用方式请参考代码示例。
如何使用
在安装完成ModelScope-lib之后即可基于nlp plug-mental backbone base进行下游任务finetune
代码范例
模型局限性以及可能的偏差
基于中文数据进行训练，模型训练数据有限，效果可能存在一定偏差。主要针对心理、情感领域的任务，其它领域的效果可能存在一定偏差。
训练数据介绍
数据来源于知乎论坛心理相关的语料以及心理论坛的语料，共1.03GB
模型训练流程
- 对StructBert模型进行freeze，训练adapter部分，避免StructBert中信息的遗忘以及加快训练速度。
- 使用上述的语料，使用内部的抽取工具赋予抽取文本在mlm任务更大的权重进行训练
数据评估及结果
在下游任务finetune后，nlpcc2013中文微博情绪识别和SMP2020微博情绪分类结果如下：
Model nlpcc2013 SMP2020
roberta base 66.45 79.27
structbert base 67.82 80.43
StructBERT-mental(without pretrain) 67.60 80.53
StructBERT-mental(ours) 69.22 80.82
注：StructBERT-mental(without pretrain)为增加adapter，但是没有进行pretrain的模型，目的是对增加参数这个因子进行消融
相关论文以及引用信息
如果我们的模型对您有帮助，请您引用我们的文章：
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
