All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

nlp_structbert_faq-question-answering_chinese-gov-base

iic/nlp_structbert_faq-question-answering_chinese-gov-base

Publisheriic

Download access requirementsModelScope source

FAQ问答是智能对话系统(特别是垂直领域对话系统)的核心业务场景,业务专家基于经验或数据挖掘的结果,将用户会频繁问到的业务知识以Q&A的形式维护起来,称之为知识库, 当用户使用对话系统时,提问一个业务方面的问题,机器自动从知识库中找到最合适的回答。机器找答案的过程通常包含检索和排序两个阶段,针对FAQ检索和排序任务, FAQ问答模型以structbert-base-chinese为基础,使用简单的原型网络,通过海量数据预训练(亿级)、微调(百万级),在几个公开的数据集上都取得

Embedding & Retrieval
Model details

模型介绍

中文整理

FAQ问答任务介绍

FAQ问答是智能对话系统(特别是垂直领域对话系统)的核心业务场景,业务专家基于经验或数据挖掘的结果,将用户会频繁问到的业务知识以Q&A的形式维护起来,称之为知识库, 当用户使用对话系统时,提问一个业务方面的问题,机器自动从知识库中找到最合适的回答。机器找答案的过程通常包含检索和排序两个阶段,针对FAQ检索和排序任务, FAQ问答模型以structbert-base-chinese为基础,使用简单的原型网络,通过海量数据预训练(亿级)、微调(百万级),在几个公开的数据集上都取得了不错的效果。

此外,FAQ问答任务也可以看作是一种小样本学习任务,给定每个类少量的样本(supportset),输出query的正确的类别,因此本模型也可以用于通用的小样本分类场景;

StructBERT FAQ问答-中文-政务领域-base模型**是在StructBERT FAQ问答-中文-通用领域-base模型基础上在政务领域FAQ数据上finetune得到,特别适用于金融领域FAQ问答任务,包括但不限于社保、公积金等场景;

FAQ问答开发实践**

相关模型

StructBERT FAQ问答-中文-通用领域-base 通用FAQ问答模型,适用于各个领域,效果和性能兼具,落地应用的最优选择;

StructBERT FAQ问答-中文-政务领域-base 基于StructBERT FAQ问答-中文-通用领域-base模型在政务数据上进行finetune得到,适用于政务领域FAQ问答任务,包括但不局限于社保、公积金等场景;

StructBERT FAQ问答-中文-金融领域-base 基于StructBERT FAQ问答-中文-通用领域-base模型在金融数据上进行finetune得到,适用于金融领域FAQ问答任务,包括但不局限于银行、保险等场景;

MGIMN FAQ问答-中文-通用领域-base 采用多粒度交互式小样本模型设计,相对StructBERT FAQ问答-中文-通用领域-base模型,效果更优,但推理速度会下降,方法参考论文:NAACL2022

MGIMN FAQ问答-中文-政务领域-base 基于MGIMN FAQ问答-中文-通用领域-base模型在政务数据上进行finetune得到,适用于政务领域FAQ问答任务;包括但不局限于社保、公积金等场景;

MGIMN FAQ问答-中文-金融领域-base 基于MGIMN FAQ问答-中文-通用领域-base模型在金融数据上进行finetune得到,适用于金融领域FAQ问答任务;包括但不局限于银行、保险等场景;

FAQ问答-多语言-通用领域-base,多语言FAQ模型,支持英、俄、西、法、阿、韩、葡、越南、泰语、印尼语、菲律宾语、马来语、粤语等多种语言;

模型描述

本模型以structbert-base-chinese预训练模型为底座,模型结构使用简单的原型网络(如下图所示),通过小样本meta-learning的训练方式,在海量数据上进行预训练(亿级)、微调(百万级)

而得,适用于FAQ问答任务、小样本分类任务、相似度计算任务;

StructBERT FAQ问答-中文-政务领域-base模型**是在StructBERT FAQ问答-中文-通用领域-base模型基础上在政务领域FAQ数据上finetune得到,特别适用于金融领域FAQ问答任务,包括但不限于社保、公积金等场景;

期望模型使用方式及适用范围

如何使用

在安装完成ModelScope之后即可使用damo/nlp structbert faq-question-answering chinese-gov-base的的FAQ问答能力

代码范例

备注:我们不限定query set 和 support set大小,使用者需要基于基于显存大小以及对性能的要求输入合适大小的候选集;

备注:同样,我们也不对输入进行大小限制,使用者需要基于显存大小输入合适大小的数据;

模型局限性及可能的偏差

虽然我们的数据尽量覆盖各行业,但仍有可能不适用于某些特定行业;

训练数据介绍

训练数据来源于业务数据

模型训练&Finetune

数据评估及结果

由于公开的垂直领域FAQ数据较少,我们选择几个公开的意图分类数据进行数据评估,其中banking/OOS/clinic为中文翻译数据;此外我们还在政务领域FAQ数据上测试当前模型,相对通用模型高1.8pt;

评测方式:划分训练集和测试集,对于测试集中的每一个query,从训练集中检索top10个类,每个类至多5条样本,基于检索出的样本数据对query进行分类

评测指标:ACC

Model fewjoint nlpccst4 banking clinic OOS Average 政务数据

  • -- --- --- --- --- --- -- --

SentenceTransformer(paraphrase-multilingual-mpnet-base-v2) 79.1 81.9 75.7 86.1 66.1 77.8 74.2

SentenceTransformer(paraphrase-multilingual-MiniLM-L12-v2) 82.5 81.0 77.4 84.1 64.6 77.9 85.5

StructBERT FAQ问答-中文-通用领域-base 89.9 87.6 78.8 88.1 68.0 82.5 88.5

StructBERT FAQ问答-中文-政务领域-base(**当前模型**) 88.8 86.7 78.6 86.3 67.1 81.5 90.3

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top