speech_paraformer-large-vad-punc_asr_nat-en-16k-common-vocab10020

🚀 Powered by FunASR · Industrial-grade open-source speech recognition

This model is part of the **FunASR** speech ecosystem — one toolkit for **ASR · VAD · Punctuation · Speaker Diarization · Emotion / Event · LLM-ASR**.

⭐ **Find it useful? Please Star our open-source repos:**

🌟 FunASR** · **🌟 SenseVoice** · **🌟 Fun-ASR** · **🌟 FunClip**

Highlights

Paraformer-large长音频模型集成VAD、ASR、标点，可直接对时长为数小时音频进行识别，并输出带标点文字：

• ASR模型：Parformer-large模型结构为非自回归语音识别模型，可快速地基于ModelScope对模型进行微调定制和推理。
• VAD模型：FSMN-VAD模型
• 标点模型：CT-Transformer-large

FunASR开源项目介绍

FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调，研究人员和开发人员可以更方便地进行语音识别模型的研究和生产，并推动语音识别生态的发展。让语音识别更有趣！

github仓库**

• *最新动态**
• *环境安装**
• *服务部署**
• *模型库**
• *联系我们**

模型原理介绍

Paraformer是达摩院语音团队提出的一种高效的非自回归端到端语音识别框架。本项目为Paraformer中文通用语音识别模型，采用工业级数万小时的标注音频进行模型训练，保证了模型的通用识别效果。模型可以被应用于语音输入法、语音导航、智能会议纪要等场景。

Paraformer模型结构如上图所示，由 Encoder、Predictor、Sampler、Decoder 与 Loss function 五部分组成。Encoder可以采用不同的网络结构，例如self-attention，conformer，SAN-M等。Predictor 为两层FFN，预测目标文字个数以及抽取目标文字对应的声学向量。Sampler 为无可学习参数模块，依据输入的声学向量和目标向量，生产含有语义的特征向量。Decoder 结构与自回归模型类似，为双向建模（自回归为单向建模）。Loss function 部分，除了交叉熵（CE）与 MWER 区分性优化目标，还包括了 Predictor 优化目标 MAE。

其核心点主要有：

Predictor 模块：基于 Continuous integrate-and-fire (CIF) 的 预测器 (Predictor) 来抽取目标文字对应的声学特征向量，可以更加准确的预测语音中目标文字个数。

Sampler：通过采样，将声学特征向量与目标文字向量变换成含有语义信息的特征向量，配合双向的 Decoder 来增强模型对于上下文的建模能力。

基于负样本采样的 MWER 训练准则。

更详细的细节见：

论文： Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition

论文解读：Paraformer: 高识别率、高计算效率的单轮非自回归端到端语音识别模型

基于ModelScope进行推理

推理支持音频格式如下：

• wav文件路径，例如：data/test/audios/asr example.wav
• pcm文件路径，例如：data/test/audios/asr example.pcm
• wav文件url，例如：https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test audio/asr example zh.wav
• wav二进制数据，格式bytes，例如：用户直接从文件里读出bytes数据或者是麦克风录出bytes数据。
• 已解析的audio音频，例如：audio, rate = soundfile.read("asr example zh.wav")，类型为numpy.ndarray或者torch.Tensor。
• wav.scp文件，需符合如下要求：

若输入格式wav文件url，api调用方式可参考如下范例：

输入音频为pcm格式，调用api时需要传入音频采样率参数audio fs，例如：

输入音频为wav格式，api调用方式可参考如下范例:

若输入格式为文件wav.scp(注：文件名需要以.scp结尾)，可添加 output dir 参数将识别结果写入文件中，api调用方式可参考如下范例:

识别结果输出路径结构如下：

score：识别路径得分

text：语音识别结果文件

若输入音频为已解析的audio音频，api调用方式可参考如下范例：

ASR、VAD、PUNC模型自由组合

可根据使用需求对VAD和PUNC标点模型进行自由组合，使用方式如下：

若不使用PUNC模型，可配置punc model=""，或不传入punc model参数，如需加入LM模型，可增加配置lm model='damo/speech transformer lm zh-cn-common-vocab8404-pytorch'，并设置lm weight和beam size参数。

基于FunASR进行推理

下面为快速上手教程，测试音频（中文，英文）

可执行命令行

在命令行终端执行：

注：支持单条音频文件识别，也支持文件列表，列表为kaldi风格wav.scp： wav id wav path

python示例

非实时语音识别

注： model hub ：表示模型仓库， ms 为选择modelscope下载， hf 为选择huggingface下载。

实时语音识别

注： chunk size 为流式延时配置， [0,10,5] 表示上屏实时出字粒度为 10*60=600ms ，未来信息为 5*60=300ms 。每次推理输入为 600ms （采样点数为 16000*0.6=960 ），输出为对应文字，最后一个语音片段输入需要设置 is final=True 来强制输出最后一个字。

语音端点检测（非实时）

语音端点检测（实时）

标点恢复

时间戳预测

更多详细用法（示例）

微调

详细用法（示例）

使用方式以及适用范围

运行范围

支持Linux-x86 64、Mac和Windows运行。

使用方式

直接推理：可以直接对输入音频进行解码，输出目标文字。

微调：加载训练好的模型，采用私有或者开源数据进行模型训练。

使用范围与目标场景

适合与离线语音识别场景，如录音文件转写，配合GPU推理效果更加，输入音频时长不限制，可以为几个小时音频。

模型局限性以及可能的偏差

考虑到特征提取流程和工具以及训练工具差异，会对CER的数据带来一定的差异（