模型介绍
中文整理- 研究背景
在做虚拟数字人对话时，我们可能会遇到有些用户不懂普通话，使用当地方言和虚拟数字人沟通，那么我们在使用开源的模型中，你会发现基本上没有方言识别能力，因此，训练一个可以识别方言的ASR模型很有必要。阿里开源了SenseVoiceSmall模型，这个模型有很好的学习能力，可以根据提供的方言数据集进行学习到方言到简体中文的映射。这里收集了2231条客家话数据集，基于SenseVoiceSmall来训练出一个可以识别梅州客家话，惠州客家话和粤西客家话的模型。
- 数据集构成
本次训练使用了2231条客家话数据集，其中包含梅州客家话，惠州客家话以及粤西客家话。这些数据从某音和youtube上通过视频采集，同时还加上了100条自己录制的客家话。
- 运行
下面给出一个demo.py方便你们测试。
注意：把上面代码中的 input wav 中的三个音频路径替换为你电脑中的路径。
为了方便对比训练前后的效果，这里可以运行下面代码，下面代码中使用的是训练之前的 SenseVoiceSmall 模型。
从输出的结果中不难看出，训练之后的效果比训练之前好很多。下面是结果。
正确文本
训练前
训练后
可以看到明显的区别，说明训练是有效果的。
具体演示视频可点击这里。
- 训练loss曲线
下面是训练中的loss曲线。
- 其它
由于当前使用的是梅州、惠州以及粤西地区的客家话数据集训练的客家话ASR模型，如果你测试的时候使用的是非这三个地区的客家话，可能会识别出的字错率偏高。如果你想要使得训练的模型达到工业级水平，你应该准备更多的方言数据集用于训练，至少要200小时。
如果你想要进一步提升模型的识别准确率，欢迎联系 lukeewin01，或者你有其它方言需要训练，也欢迎联系 lukeewin01。
- 联系
个人博客：https://blog.lukeewin.top
个人代码仓库：https://github.com/lukeewin
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。