模型介绍
中文整理StructBERT零样本分类模型介绍
Yin等人[1]提出了一种使用预训练的自然语言推理模型来实现零样本分类的方式。
工作原理:将要分类的文本设置为自然语言推理的前提,然后使用每个标签构建一个假设,接着对每个假设进行推理得到文本所属的标签。
该模型可以在不使用下游数据进行训练的情况下,按照指定的标签对文本进行分类。
模型描述
该模型使用StructBERT-base在xnli数据集(将英文数据集重新翻译得到中文数据集)上面进行了自然语言推理任务训练。
如何使用
在ModelScope框架上,通过调用pipeline,提供待分类的文本以及所有可能的标签即可实现文本分类。
代码范例
模型局限性以及可能的偏差
受训练数据的影响,在不同任务上的性能表现可能会有所差异。
训练数据介绍
XNLI是来自MNLI的一个子集,已被翻译成14种不同的语言。
模型训练流程
预处理
XNLI提供的中文数据集的翻译质量不佳,因此对英文数据集进行了重新翻译。
训练
使用经过翻译得到的392462条训练数据对StructBERT-base模型进行了自然语言推理任务的训练。
[//]: # (### 训练代码示范)
[//]: # ()
[//]: # ()
数据评估及结果
在经过翻译得到的5000条测试数据上的f1为82.04。
相关论文以及引用信息
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
