speech_sanm_kws_phone-xiaoyun-commands-offline

FunASR开源项目介绍

FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

github仓库**

• *最新动态**
• *环境安装**
• *服务部署**
• *模型库**
• *联系我们**

语音唤醒模型介绍

模型描述

  移动端语音多命令词模型，我们根据以往项目积累，挑选了多个场景常用命令词数据进行模型迭代，所得单一模型支持30+关键词的快速检测：

    主唤醒词：小云小云，你好小云，你好问问，嗨小问

    音乐场景命令词：播放音乐，增大音量，减小音量，继续播放，暂停播放，上一首，下一首，单曲循环，随机模式，列表循环

    地图场景命令词：取消导航，退出导航，放大地图，查看全程，缩小地图，不走高速，躲避拥堵，避免收费，高速优先

    家电场景命令词：返回桌面，睡眠模式，蓝牙模式，打开灯光，关闭灯光，打开空调，关闭空调，拍照拍照，我要拍照

    通用场景命令词：上一页，下一页，上一个，下一个，换一批，打开录音，关闭录音

  模型网络主体为6层SANM结构(如下图所示)，参数量约3.28M，量化后适用于移动端设备运行。SANM结构巧妙结合了自注意力机制SAN和DFSMN memory block的优势，使得模型具有捕捉序列数据长程依赖的能力，同时还兼顾局部特征的学习，在语音识别任务上取得良好效果。

  模型输入采用Fbank特征，训练阶段使用ctc-loss计算损失并更新参数，输出为基于char建模的中文全集token预测，token数共2602个。本模型训练使用offline模式，推理时需要一条音频的完整特征作为网络输入，得到所有特征的后验概率输出，最后对输出进行后处理获得关键词检测结果。

  模型训练采用"basetrain + finetune"的模式，basetrain过程使用大量内部移动端数据。在此基础上，混合每个命令词数据进行微调，得到最终面向业务的“主唤醒+多命令词”模型。在finetune阶段，一并加入了出门问问开源数据。 本模型同时训练的命令词个数较多，而内部保有的各命令词数据量差别较大，采集场景各异，最终各选取了3000~30000条录音进行融合训练。

  由于采用了中文char全量token建模，并使用充分数据进行basetrain，本模型也支持基本的唤醒词/命令词自定义功能，但具体性能无法评估。如用户想验证更多命令词，可以通过页面右侧“在线体验”板块自定义设置并录音测试。

  目前最新ModelScope版本已支持用户在basetrain模型基础上，使用其他关键词数据进行微调，得到新的语音唤醒模型。欢迎您通过小云小云模型了解唤醒模型定制的方法。

更详细的细节见：

论文： SAN-M: Memory Equipped Self-Attention for End-to-End Speech Recognition

使用方式和范围

运行范围：

支持Linux-x86 64、Mac和Windows运行。

使用方式：

推理：基于FunASR开源项目，部署环境后，直接对输入音频进行推理和解码，输出关键词检测结果。

微调：基于FunASR开源项目，部署环境后，加载训练好的base模型，采用私有或者开源关键词数据及负样本，进行模型训练。

使用范围:

移动端设备，Android/iOS型号或版本不限，使用环境不限，采集音频为16K单通道。

暂未提供移动端设备端的推理方案和Demo。

目标场景:

移动端APP用到的关键词检测场景。

如何使用

环境依赖

funasr>=1.1.7

基于ModelScope推理代码范例

基于FunASR项目推理代码范例

模型局限性以及可能的偏差

考虑到单一模型同时支持的命令词较多，测试数据缺乏，正负样本测试集覆盖场景不够全面，可能有特定场合/特定人群唤醒率偏低或误唤醒偏高问题。

训练数据介绍

basetrain使用内部移动端ASR数据5000+小时，finetune使用合并37个命令词共约30万条混合场景数据，以及约5万条移动端ASR数据。

模型训练流程

模型训练采用"basetrain + finetune"的模式，finetune过程使用目标场景的特定唤醒词数据并混合一定比例的ASR数据。如训练数据与应用场景不匹配，应当针对性做数据模拟。

预处理

finetune模型直接使用各命令词混合场景数据进行训练，未做数据模拟或扩充。

数据评估及结果

“你好问问”、“嗨小问”两个主唤醒词测试使用同一批开源的正负样本测试集。

针对其他关键词，从训练数据中随机预留10%作为每个命令词的正样本测试集，其中部分词测试数据量较少，可能导致实际体验有偏差；误唤醒依旧使用内部自建的移动端40小时负样本测试集，数据来源于导航场景的ASR。详细测试结果如下：

命令词 唤醒率 误唤醒/小时 正样本(条) 负样本(小时)

:------------: :------------: :------------: :------------: :------------:

小云小云 100.00% 0.000 1043 62.23

你好小云 98.52% 0.000 1550 62.70

你好问问 98.98% 0.248 10641 68.49

嗨小问 98.51% 0.248 10641 68.62

播放音乐 90.82% 0.000 686 62.98

增大音量 98.94% 0.112 1503 62.45

减小音量 98.82% 0.096 1526 62.43

继续播放 98.41% 0.096 2079 62.55

暂停播放 98.44% 0.097 2439 62.16

上一首 94.63% 1.001 1937 61.96

下一首 94.99% 0.680 1975 61.72

单曲循环 94.77% 0.000 153 63.54

随机模式 97.96% 0.016 98 63.57

列表循环 95.95% 0.016 74 63.58

取消导航 95.97% 0.096 1364 62.77

退出导航 96.06% 0.096 2157 62.52

放大地图 96.32% 0.095 1115 62.90

缩小地图 97.52% 0.096 1857 62.93

查看全程 96.98% 0.048 993 62.62

不走高速 96.55% 0.000 58 63.58

躲避拥堵 97.14% 0.000 140 63.56

避免收费 96.00% 0.000 50 63.59

高速优先 85.19% 0.000 162 63.53

上一页 93.49% 0.095 384 63.46

下一页 96.63% 0.095 445 63.41

换一批 97.01% 0.095 368 63.47

返回桌面 96.72% 0.032 335 63.46

睡眠模式 100.00% 0.000 246 63.28

蓝牙模式 99.23% 0.032 259 63.27

拍照拍照 98.71% 0.032 928 62.98

我要拍照 100.00% 0.016 451 62.99

上一个 93.28% 0.320 952 62.58

下一个 98.38% 0.406 2039 61.52

打开灯光 100.00% 0.000 264 63.25

关闭灯光 100.00% 0.000 210 63.33

打开录音 100.00% 0.000 459 62.97

关闭录音 100.00% 0.000 416 63.03

打开空调 87.23% 0.000 141 63.49

关闭空调 85.62% 0.016 153 63.47

相关论文以及引用信息