Model details
模型介绍
中文整理基于xvector和transformer的说话人转换点定位模型
该模型分为说话人特征提取模型和说话人转换点定位模型，说话人特征提取模型采用Xvector结构，转换点定位模型采用transformer结构。该模型适合两人对话场景下的转换点定位，适合作为说话人日志（speaker diarization）系统的后端，在说话人转换点附近精确的定位转换点位置，减少时间误差。
模型简述
该模型可用于改善说话人日志系统中经常存在的说话人转换点定位不准的情况。该模型结果主要分为两部分。第一部分是说话人特征提取模型，采用Xvector结构，是为了提取混合音频中的说话人特征。第二部分是transformer结构，输入说话人的帧级特征，利用self-attention机制预测发生转换点的语音帧位置，模型可额外输入预先提取说话人的全局特征embedding，可获得更准确的帧级预测结果。
训练数据
本模型使用大规模的中文两人合成音频数据集进行训练。
模型效果评估
采用预测转换点时间戳和实际转换点平均误差作为评估标注。
测试集 时间误差（秒）
:-----: :------:
合成测试集 0.15
真实测试集 0.7
如何快速体验模型效果
如果在本地使用，需要先安装modelscope并配置相应的环境，相关教程请参考这里。
对于有开发需求的使用者，特别推荐您使用Notebook进行离线处理。先登录ModelScope账号，点击模型页面右上角的“在Notebook中打开”按钮出现对话框，首次使用会提示您关联阿里云账号，按提示操作即可。关联账号后可进入选择启动实例界面，选择计算资源，建立实例，待实例创建完成后进入开发环境，输入api调用实例。
模型的局限性
当前模型只适用于两人对话、且一定存在转换点的场景下，对转换点进行定位。其他场景的说话人转换点定位模型正在开发中。
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
