speech_charctc_kws_phone-xiaoyun_mt

语音唤醒模型介绍

Git模型下载

模型描述

  移动端语音唤醒模型，检测关键词为“小云小云”。

  模型网络结构继承自论文《Compact Feedforward Sequential Memory Networks for Small-footprint Keyword Spotting》，其主体为4层cFSMN结构(如下图所示)，参数量约750K，适用于移动端设备运行。

  模型输入采用Fbank特征，训练阶段使用CTC-loss计算损失并更新参数，我们参照论文《Multi-task Learning for Voice Trigger Detection》的思路，在模型输出端采用Multi-Task进行建模和训练，其一为基于char建模的中文全集token分类，其二为小云项目相关的少数几个token分类。两个task的loss融合在一起可以互相促进彼此的参数更新，从而达到更好效果。同时第二个task由于建模单元显著减少，计算效率也得到优化。测试工具根据每一帧的预测数据进行后处理得到输入音频的实时检测结果。

  模型训练采用"basetrain + finetune"的模式，basetrain过程使用大量内部移动端数据，在此基础上，使用1万条设备端录制安静场景“小云小云”数据进行微调，得到最终面向业务的模型。由于task1采用了中文char全量token建模，并使用充分数据进行basetrain，因而支持基本的唤醒词/命令词自定义功能，但具体性能无法评估；task2不支持自定义功能，本模型demo区域默认调用task2的二进制模型，因此关闭了自定义功能。

  目前最新ModelScope和FunASR已支持用户在basetrain模型基础上，使用其他关键词数据进行微调，得到新的语音唤醒模型。

使用方式和范围

运行范围：

现阶段只能在Linux-x86 64运行，不支持Mac和Windows。

模型训练需要用户服务器配置GPU卡，CPU训练暂不支持。

使用方式：

使用附带的kwsbp工具(Linux-x86 64)直接推理，分别测试正样本及负样本集合，综合选取最优工作点。

使用范围:

移动端设备，Android/iOS型号或版本不限，使用环境不限，采集音频为16K单通道。

目标场景:

移动端APP用到的关键词检测场景。

如何使用

请使用python3.9，并手动安装如下依赖：

基于ModelScope推理代码范例

audio in参数说明：

默认传入url地址的小云正样本音频，函数返回单条测试结果。

设置本地单条音频路径，如audio in='LOCAL PATH'，函数返回单条测试结果。

设置本地正样本目录(自动检索该目录下wav格式音频)，如audio in=['POS DIR', None]，函数返回全部正样本测试结果。

设置本地负样本目录(自动检索该目录下wav格式音频)，如audio in=[None, 'NEG DIR']，函数返回全部负样本测试结果。

同时设置本地正/负样本目录，如audio in=['POS DIR', 'NEG DIR']，函数返回Det测试结果，用户可保存JSON格式文本方便选取合适工作点。

基于FunASR推理代码范例

环境依赖

funasr>=1.1.7

模型局限性以及可能的偏差

考虑到正负样本测试集覆盖场景不够全面，可能有特定场合/特定人群唤醒率偏低或误唤醒偏高问题。

训练数据介绍

basetrain使用内部移动端ASR数据5000+小时，finetune使用1万条众包安静场景"小云小云"数据以及约20万条移动端ASR数据。

模型训练流程

模型训练采用"basetrain + finetune"的模式，finetune过程使用目标场景的特定唤醒词数据并混合一定比例的ASR数据。如训练数据与应用场景不匹配，应当针对性做数据模拟。

本模型通过FunASR可进行finetune，ModelScope暂不支持。

预处理

finetune模型对众包数据做近场加噪/加速模拟以扩充数据源。

数据评估及结果

模型在自建9个场景各50句的正样本集（共450条）测试，任务一唤醒率为93.33%，任务二唤醒率为96.00%。

在自建的移动端负样本集上测试，误唤醒为40小时0次。

相关论文以及引用信息