speech_UniASR_asr_2pass-my-16k-common-vocab696-pytorch

Highlights

UniASR缅甸语语音识别模型，可对近场、低噪、正常语速、朗读形式的缅甸语音频进行语音识别：

• ASR模型：UniASR模型，缅甸语语音识别模型。
• VAD模型：语音端点检查VAD模型，可检测长语音片段中有效语音的起止时间点。

ModelScope-FunASR

FunASR希望在语音识别方面建立学术研究和工业应用之间的桥梁。通过支持在ModelScope上发布的工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并促进语音识别生态系统的发展。

最新动态**

• *环境安装**
• *介绍文档**
• *中文教程**
• *服务部署**
• *模型库**
• *联系我们**

项目介绍

UniASR模型是一种2遍刷新模型（Two pass）端到端语音识别模型。日益丰富的业务需求，不仅要求识别效果精度高，而且要求能够实时地进行语音识别。一方面，离线语音识别系统具有较高的识别准确率，但其无法实时的返回解码文字结果，并且，在处理长语音时，容易发生解码重复的问题，以及高并发解码超时的问题等；另一方面，流式系统能够低延时的实时进行语音识别，但由于缺少下文信息，流式语音识别系统的准确率不如离线系统，在流式业务场景中，为了更好的折中实时性与准确率，往往采用多个不同时延的模型系统。为了满足差异化业务场景对计算复杂度、实时性和准确率的要求，常用的做法是维护多种语音识别系统，例如，CTC系统、E2E离线系统、SCAMA流式系统等。在不同的业务场景使用不同的模型和系统，不仅会增加模型生产成本和迭代周期，而且会增加引擎以及服务部署的维护成本。因此，我们设计了离线流式一体化语音识别系统——UniASR。UniASR同时具有高精度和低延时的特点，不仅能够实时输出语音识别结果，而且能够在说话句尾用高精度的解码结果修正输出，与此同时，UniASR采用动态延时训练的方式，替代了之前维护多套延时流式系统的做法。通过设计UniASR语音识别系统，我们将之前多套语音识别系统架构统一为一套系统架构，一个模型满足所有业务场景，显著的降低了模型生产和维护成本。

其模型结构如下图所示：

UniASR模型结构如上图所示，包含离线语音识别部分和流式语音识别部分。其中，离线与流式部分通过共享一个动态编码器（Encoder）结构来降低计算量。流式语音识别部分是由动态时延 Encoder 与流式解码器（Decoder）构成。动态时延 Encoder 采用时延受限有句记忆单元的自注意力（LC-SAN-M）结构；流式 Decoder 采用动态 SCAMA 结构。离线语音识别部分包含了降采样层（Stride Conv）、Big-Chunk Encoder、文本Encoder与SCAMA Decoder。为了降低刷新输出结果的尾点延时，离线识别部分采用大Chunk 流式结构。其中，Stride Conv结构是为了降低计算量。文本 Encoder 增加了离线识别的语义信息。为了让模型能够具有不同延时下进行语音识别的能力，我们创新性地设计了动态时延训练机制，使得模型能够同时满足不同业务场景对延时和准确率的要求。

根据业务场景特征，我们将语音识别需求大致分为3类：

低延迟实时听写：如电话客服，IOT语音交互等，该场景对于尾点延迟非常敏感，通常需要用户说完以后立马可以得到识别结果。

流式实时听写：如会议实时字幕，语音输入法等，该场景不仅要求能够实时返回语音识别结果，以便实时显示到屏幕上，而且还需要能够在说话句尾用高精度识别结果刷新输出。

离线文件转写：如音频转写，视频字幕生成等，该场景不对实时性有要求，要求在高识别准确率情况下，尽可能快的转录文字。

为了同时满足上面3种业务场景需求，我们将模型分成3种解码模式，分别对应为：

fast 模式：只有一遍解码，采用低延时实时出字模式；

normal 模式：2遍解码，第一遍低延时实时出字上屏，第二遍间隔3～6s（可配置）对解码结果进行刷新；

offline 模式：只有一遍解码，采用高精度离线模式；

在模型部署阶段，通过发包指定该次语音识别服务的场景模式和延时配置。这样，通过UniASR系统，我们统一了离线流式语音识别系统架构，提高模型识别效果的同时，不仅降低了模型生产成本和迭代周期，还降低了引擎以及服务部署维护成本。目前我们提供的语音识别服务基本都是基于UniASR。

基于ModelScope推理

输入音频支持wav与pcm格式音频，以wav格式输入为例，支持以下几种输入方式：

wav文件路径，例如：data/test/audios/asr example.wav

wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据

wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test audio/asr example.wav

wav文件测试集，目录结构树必须符合如下要求：

api调用范例

如果是pcm格式输入音频，调用api时需要传入音频采样率参数audio fs，例如：

基于FunASR进行推理

下面为快速上手教程，测试音频（中文，英文）

可执行命令行

在命令行终端执行：

注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp： wav id wav path

python示例

非实时语音识别

注： model hub ：表示模型仓库， ms 为选择modelscope下载， hf 为选择huggingface下载。

实时语音识别

注： chunk size 为流式延时配置， [0,10,5] 表示上屏实时出字粒度为 10*60=600ms ，未来信息为 5*60=300ms 。每次推理输入为 600ms （采样点数为 16000*0.6=960 ），输出为对应文字，最后一个语音片段输入需要设置 is final=True 来强制输出最后一个字。

语音端点检测（非实时）

语音端点检测（实时）

标点恢复

时间戳预测

更多详细用法（示例）

微调

详细用法（示例）

使用方式以及适用范围

运行范围

支持Linux-x86 64、Mac和Windows运行。

使用方式

直接推理：可以直接对输入音频进行解码，输出目标文字。

微调：加载训练好的模型，采用私有或者开源数据进行模型训练。

使用范围与目标场景

建议输入语音时长在20s以下。

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（