模型介绍
中文整理FunASR开源项目介绍
FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！
github仓库**
- *最新动态**
- *环境安装**
- *服务部署**
- *模型库**
- *联系我们**
语音唤醒模型介绍
模型描述
移动端语音多命令词模型，我们根据以往项目积累，挑选了多个场景常用命令词数据进行模型迭代，所得单一模型支持30+关键词的快速检测：
主唤醒词：小云小云，你好小云，你好问问，嗨小问
音乐场景命令词：播放音乐，增大音量，减小音量，继续播放，暂停播放，上一首，下一首，单曲循环，随机模式，列表循环
地图场景命令词：取消导航，退出导航，放大地图，查看全程，缩小地图，不走高速，躲避拥堵，避免收费，高速优先
家电场景命令词：返回桌面，睡眠模式，蓝牙模式，打开灯光，关闭灯光，打开空调，关闭空调，拍照拍照，我要拍照
通用场景命令词：上一页，下一页，上一个，下一个，换一批，打开录音，关闭录音
模型网络主体为6层SANM结构(如下图所示)，参数量约3.28M，量化后适用于移动端设备运行。SANM结构巧妙结合了自注意力机制SAN和DFSMN memory block的优势，使得模型具有捕捉序列数据长程依赖的能力，同时还兼顾局部特征的学习，在语音识别任务上取得良好效果。
模型输入采用Fbank特征，训练阶段使用ctc-loss计算损失并更新参数，输出为基于char建模的中文全集token预测，token数共2602个。本模型训练使用offline模式，推理时需要一条音频的完整特征作为网络输入，得到所有特征的后验概率输出，最后对输出进行后处理获得关键词检测结果。
模型训练采用"basetrain + finetune"的模式，basetrain过程使用大量内部移动端数据。在此基础上，混合每个命令词数据进行微调，得到最终面向业务的“主唤醒+多命令词”模型。在finetune阶段，一并加入了出门问问开源数据。 本模型同时训练的命令词个数较多，而内部保有的各命令词数据量差别较大，采集场景各异，最终各选取了3000~30000条录音进行融合训练。
由于采用了中文char全量token建模，并使用充分数据进行basetrain，本模型也支持基本的唤醒词/命令词自定义功能，但具体性能无法评估。如用户想验证更多命令词，可以通过页面右侧“在线体验”板块自定义设置并录音测试。
目前最新ModelScope版本已支持用户在basetrain模型基础上，使用其他关键词数据进行微调，得到新的语音唤醒模型。欢迎您通过小云小云模型了解唤醒模型定制的方法。
更详细的细节见：
论文： SAN-M: Memory Equipped Self-Attention for End-to-End Speech Recognition
使用方式和范围
运行范围：
支持Linux-x86 64、Mac和Windows运行。
使用方式：
推理：基于FunASR开源项目，部署环境后，直接对输入音频进行推理和解码，输出关键词检测结果。
微调：基于FunASR开源项目，部署环境后，加载训练好的base模型，采用私有或者开源关键词数据及负样本，进行模型训练。
使用范围:
移动端设备，Android/iOS型号或版本不限，使用环境不限，采集音频为16K单通道。
暂未提供移动端设备端的推理方案和Demo。
目标场景:
移动端APP用到的关键词检测场景。
如何使用
环境依赖
funasr>=1.1.7
基于ModelScope推理代码范例
基于FunASR项目推理代码范例
模型局限性以及可能的偏差
考虑到单一模型同时支持的命令词较多，测试数据缺乏，正负样本测试集覆盖场景不够全面，可能有特定场合/特定人群唤醒率偏低或误唤醒偏高问题。
训练数据介绍
basetrain使用内部移动端ASR数据5000+小时，finetune使用合并37个命令词共约30万条混合场景数据，以及约5万条移动端ASR数据。
模型训练流程
模型训练采用"basetrain + finetune"的模式，finetune过程使用目标场景的特定唤醒词数据并混合一定比例的ASR数据。如训练数据与应用场景不匹配，应当针对性做数据模拟。
预处理
finetune模型直接使用各命令词混合场景数据进行训练，未做数据模拟或扩充。
数据评估及结果
“你好问问”、“嗨小问”两个主唤醒词测试使用同一批开源的正负样本测试集。
针对其他关键词，从训练数据中随机预留10%作为每个命令词的正样本测试集，其中部分词测试数据量较少，可能导致实际体验有偏差；误唤醒依旧使用内部自建的移动端40小时负样本测试集，数据来源于导航场景的ASR。详细测试结果如下：
命令词 唤醒率 误唤醒/小时 正样本(条) 负样本(小时)
:------------: :------------: :------------: :------------: :------------:
小云小云 100.00% 0.000 1043 62.23
你好小云 98.52% 0.000 1550 62.70
你好问问 98.98% 0.248 10641 68.49
嗨小问 98.51% 0.248 10641 68.62
播放音乐 90.82% 0.000 686 62.98
增大音量 98.94% 0.112 1503 62.45
减小音量 98.82% 0.096 1526 62.43
继续播放 98.41% 0.096 2079 62.55
暂停播放 98.44% 0.097 2439 62.16
上一首 94.63% 1.001 1937 61.96
下一首 94.99% 0.680 1975 61.72
单曲循环 94.77% 0.000 153 63.54
随机模式 97.96% 0.016 98 63.57
列表循环 95.95% 0.016 74 63.58
取消导航 95.97% 0.096 1364 62.77
退出导航 96.06% 0.096 2157 62.52
放大地图 96.32% 0.095 1115 62.90
缩小地图 97.52% 0.096 1857 62.93
查看全程 96.98% 0.048 993 62.62
不走高速 96.55% 0.000 58 63.58
躲避拥堵 97.14% 0.000 140 63.56
避免收费 96.00% 0.000 50 63.59
高速优先 85.19% 0.000 162 63.53
上一页 93.49% 0.095 384 63.46
下一页 96.63% 0.095 445 63.41
换一批 97.01% 0.095 368 63.47
返回桌面 96.72% 0.032 335 63.46
睡眠模式 100.00% 0.000 246 63.28
蓝牙模式 99.23% 0.032 259 63.27
拍照拍照 98.71% 0.032 928 62.98
我要拍照 100.00% 0.016 451 62.99
上一个 93.28% 0.320 952 62.58
下一个 98.38% 0.406 2039 61.52
打开灯光 100.00% 0.000 264 63.25
关闭灯光 100.00% 0.000 210 63.33
打开录音 100.00% 0.000 459 62.97
关闭录音 100.00% 0.000 416 63.03
打开空调 87.23% 0.000 141 63.49
关闭空调 85.62% 0.016 153 63.47
相关论文以及引用信息
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。