移动端语音唤醒模型,检测关键词为“小云小云”。   模型网络结构继承自论文《Compact Feedforward Sequential Memory Networks for Small-footprint Keyword Spotting》,其主体为4层cFSMN结构(如下图所示),参数量约750K,适用于移动端设备运行。   模型输入采用Fbank特征,训练阶段使用CTC-loss计算损失并更新参数,我们参
常规版指未标记去限制的模型,不等于官方认证;去限制 / 越狱版按来源的 uncensored、abliterated 等标记归类,不代表效果或安全性已验证。量化、微调等类型可以交叉。
全部模型
浏览已上架模型
  移动端语音唤醒模型,检测关键词为"*Yes/No/Up/Down/Left/Right/On/Off/Stop/Go*"10个英文单词。   模型网络结构继承自论文《Compact Feedforward Sequential Memory Networks for Small-footprint Keyword Spotting》,其主体为4层cFSMN结构(如下图所示),参数量约750K,适用于移动端设备运行。
UniASR希伯来语语音识别模型,可对近场、低噪、正常语速、朗读形式的希伯来语音频进行语音识别: ASR模型:UniASR模型,希伯来语语音识别模型。 VAD模型:语音端点检查VAD模型,可检测长语音片段中有效语音的起止时间点。
语音音频
YuE2-3B
m-a-pYuE2是一款开源音乐生成模型,歌曲质量达到前沿水平,可与Suno v5/v6竞争。该模型将歌词和风格提示转化为完整的歌曲(包含人声和伴奏),并可通过可编辑乐谱来调整旋律与和弦。 文本转音乐:根据歌词和风格提示生成完整歌曲 智能编辑:可将音乐反馈转化为乐谱,进行风格和歌词修改后由YuE2渲染新版本
语音音频
Nemotron-3-Diarization
nv-communityNemotron 3 Diarization Nemotron 3 Diarization 是一款开源权重的说话人日志识别模型,用于确定真实音频中“谁在何时说话”。该模型支持流式推理和离线推理,最多可处理八位说话人。 模型采用 Sortformer 方法,根据每位说话人在输入音频中的首次出现顺序排列输出通道,从而解决说话人排列问题。
英文会议对话场景,端到端说话人日志模型,解决 "who spoke when" ICASSP 2023,在 Callhome 数据集上获得 SOTA 结果。 给定若干说话人的声纹信息,识别并追踪语音段中的这些说话人 给定若干说话人的原始语音,识别并追踪语音段中的这些说话人
Dialogue Detection 模型 Dialogue Detection任务用于判读一段文本是否为一段对话。此信息将帮助到speaker diarization模型。 我们的模型基于BERT训练得到,核心为一个二分类的Sentence Classification任务。
CAM++模型是基于密集连接时延神经网络的说话人识别模型。相比于一些主流的说话人识别模型,比如ResNet34和ECAPA-TDNN,CAM++具有更准确的说话人识别性能和更快的推理速度。该模型可以用于说话人确认、说话人日志、语音合成、说话人风格转化等多项任务。 CAM++兼顾识别性能和推理效率,在公开的中文数据集CN-Celeb和英文数据集VoxCeleb上,相比主流的说话人识别模型ResNet34和ECAPA-TDNN,获得了更高的准确率,同时具有更快的推理速度。其模型结
ERes2Net模型结合全局特征和局部特征,从而提高说话人识别性能。局部特征融合将一个单一残差块内的特征融合提取局部信号;全局特征融合使用不同层级输出的不同尺度声学特征聚合全局信号。ERes2Net-Base是参数量较小的ERes2Net模型,可实现快速训练和推理。 ERes2Net局部融合如下图黄色部分所示,使用Attentianal feature fusion阶梯式融合各分组特征来增强局部信息连接,获取更细粒度特征;全局融合如下图绿色部分所示,通过自底向上的全局特征融合
说话人确认和声纹提取模型,训练数据集 英文数据集 Switchboard, Callhome 提取一段语音的说话人嵌入码 speaker embedding
3D-Speaker ERes2Net-Base 说话人识别模型 ERes2Net模型结合全局特征和局部特征,从而提高说话人识别性能。局部特征融合将一个单一残差块内的特征融合提取局部信号;全局特征融合使用不同层级输出的不同尺度声学特征聚合全局信号。ERes2Net-Base是参数量较小的ERes2Net模型,可实现快速训练和推理,在参数量为4.6M的条件下,在3D-Speaker各测试集中,识别性能超越ECAPA-TDNN。
ECAPA-TDNN模型是基于时延神经网络构建的说话人模型,由于识别性能优异,已经被广泛使用在说话人识别领域中。该模型还可以用于说话人确认、说话人日志等任务。 ECAPA-TDNN在传统的TDNN模型上有3种改进。第一,融合了一维的Res2Net层和Squeeze-and-Excitation模块,对特征channel之间的关系进行建模。第二,融合多个层级特征,同时利用网络浅层和深层的信息。第三,采用了基于attention机制的pooling层,生成基于全局attentio
FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调,研究人员和开发人员可以更方便地进行语音识别模型的研究和生产,并推动语音识别生态的发展。让语音识别更有趣! 近年来,随着端到端语音识别的流行,基于Transformer结构的语音识别系统逐渐成为了主流。Transformer通过self-attention模块来获取语音的全局信息,但对于语音识别任务,语音序列的局部信息更为关键,
FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调,研究人员和开发人员可以更方便地进行语音识别模型的研究和生产,并推动语音识别生态的发展。让语音识别更有趣! 近年来,随着端到端语音识别的流行,基于Transformer结构的语音识别系统逐渐成为了主流。Transformer通过self-attention模块来获取语音的全局信息,但对于语音识别任务,语音序列的局部信息更为关键,
3D-Speaker RDINO 说话人识别模型 RDINO模型是基于时延神经网络构建的自监督说话人模型,可用于说话人确认、说话人日志等任务。 Regularized DINO使用使用teacher-student模型结构,通过最大化同一语句中不同增强片段的特征分布相似性,自监督地获取说话人特征,同时使用多样性正则和冗余度消除正则缓解训练中存在的模型坍塌问题。
ECAPA-TDNN模型是基于时延神经网络构建的说话人模型,由于识别性能优异,已经被广泛使用在说话人识别领域中,还可用于说话人日志和语种识别等任务。 ECAPA-TDNN在传统的TDNN模型上有3种改进。第一,融合了一维的Res2Net层和Squeeze-and-Excitation模块,对特征channel之间的关系进行建模。第二,融合多个层级特征,同时利用网络浅层和深层的信息。第三,采用了基于attention机制的pooling层,生成基于全局attention的说话人
FunASR希望在语音识别的学术研究和工业应用之间架起一座桥梁。通过发布工业级语音识别模型的训练和微调,研究人员和开发人员可以更方便地进行语音识别模型的研究和生产,并推动语音识别生态的发展。让语音识别更有趣! UniASR 模型是一种2遍刷新模型(Two pass)端到端语音识别模型。日益丰富的业务需求,不仅要求识别效果精度高,而且要求能够实时地进行语音识别。一方面,离线语音识别系统具有较高的识别准确率,但其无法实时的返回解码文字结果,并且,在处理长语音时,容易发生解码重复的
CAM++模型是基于密集连接时延神经网络的说话人识别模型。相比于一些主流的说话人识别模型,比如ResNet34和ECAPA-TDNN,CAM++具有更准确的说话人识别性能和更快的推理速度。该模型可以用于说话人确认、说话人日志、语音合成、说话人风格转化等多项任务。 CAM++兼顾识别性能和推理效率,在公开的中文数据集CN-Celeb和英文数据集VoxCeleb上,相比主流的说话人识别模型ResNet34和ECAPA-TDNN,获得了更高的准确率,同时具有更快的推理速度。其模型结
提交仓库编号和用途,我们核对后收录。
提交收录建议
登录闲社账号后即可提交收录建议。
模型及文件版权归原作者所有。链接检查不等于安全认证或运行验证,使用前请阅读原作者说明与许可。
