All systems operationalAI Agent Automation Platform
English
Language简体中文EnglishSelected

Choose your language

speech_bert_semantic-spk-turn-detection-punc_speaker-diarization_chinese

iic/speech_bert_semantic-spk-turn-detection-punc_speaker-diarization_chinese

Publisheriic

Download access requirementsModelScope source

Semantic Speaker Turn Detection 模型 Speaker Turn Detectio任务判断说话人转换的位置,我们的模型基于文本模态,预测说话人转换点位置。此信息将帮助到speaker diarization模型。 我们的模型基于BERT训练得到,核心为一个二分类的Token Classification任务,需要注意的是,本模型只考察标点之后是否存在转换点,后续会更新更加精细化的模型。

Speech & Audio
Model details

模型介绍

中文整理

Semantic Speaker Turn Detection 模型

Speaker Turn Detectio任务判断说话人转换的位置,我们的模型基于文本模态,预测说话人转换点位置。此信息将帮助到speaker diarization模型。

模型说明

我们的模型基于BERT训练得到,核心为一个二分类的Token Classification任务,需要注意的是,**本模型只考察标点之后是否存在转换点**,后续会更新更加精细化的模型。

关于此模型的细节以及如何后续应用,请参考我们的论文:

Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization

数据集

我们的模型基于如下的数据集训练:

AISHELL-4

ALIMEETING

我们使用一个滑动窗策略来构造训练和测试数据。

模型效果评估

测试集 Precision Recall F1 Acc

:---: :-------: :----: :-: :-:

ALIMEETING Test 0.7945 0.8779 0.8341 0.9146

AISHELL-4 Test 0.8814 0.7317 0.7996 0.925

使用Modelscope本地推理

可以利用modelscope快速使用本模型:

这里的示例我们使用 来表示文本上说话人转换点,实际推理过程并不会增加额外字符,请通过 logits 和 prediction 获得具体输出。

相关论文以及引用信息

如果您觉得这个该模型有所帮助,请引用下面的相关的论文

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

Back to top