speech_sambert-hifigan_tts_jiajia_Cantonese_16k

Sambert-Hifigan模型介绍

框架描述

拼接法和参数法是两种Text-To-Speech(TTS)技术路线。近年来参数TTS系统获得了广泛的应用，故此处仅涉及参数法。

参数TTS系统可分为两大模块：前端和后端。

前端包含文本正则、分词、多音字预测、文本转音素和韵律预测等模块，它的功能是把输入文本进行解析，获得音素、音调、停顿和位置等语言学特征。

后端包含时长模型、声学模型和声码器，它的功能是将语言学特征转换为语音。其中，时长模型的功能是给定语言学特征，获得每一个建模单元（例如:音素）的时长信息；声学模型则基于语言学特征和时长信息预测声学特征；声码器则将声学特征转换为对应的语音波形。

其系统结构如[图1]所示：

前端模块我们采用模型结合规则的方式灵活处理各种场景下的文本，后端模块则采用SAM-BERT + HIFIGAN提供高表现力的流式合成效果。

声学模型SAM-BERT

后端模块中声学模型采用自研的SAM-BERT,将时长模型和声学模型联合进行建模。结构如[图2]所示

声码器模型:HIFI-GAN

后端模块中声码器采用HIFI-GAN, 基于GAN的方式利用判别器(Discriminator)来指导声码器(即生成器Generator)的训练，相较于经典的自回归式逐样本点CE训练, 训练方式更加自然，在生成效率和效果上具有明显的优势。其系统结构如[图3]所示：

在HIFI-GAN开源工作[1]的基础上，我们针对16k, 48k采样率下的模型结构进行了调优设计，并提供了基于因果卷积的低时延流式生成和chunk流式生成机制，可与声学模型配合支持CPU、GPU等硬件条件下的实时流式合成。

使用方式和范围

使用方式：

直接输入文本进行推理

使用范围:

适用于广东粤语的语音合成场景，输入文本使用utf-8编码，整体长度建议不超过30字

目标场景:

各种语音合成任务，比如配音，虚拟主播，数字人等

如何使用

目前仅支持Linux使用，暂不支持Windows及Mac使用。

请结合KAN-TTS代码进行finetune。具体使用方法参考：

sambert训练教程

hifigan训练教程

MaaS-lib暂未支持本模型训练，敬请期待。

代码范例

模型局限性以及可能的偏差

该发音人支持广东粤语，TN规则为广东粤语

训练数据介绍

使用单一发音人，共计约11.8小时数据训练, 主要为广东粤语语料。

模型训练流程

模型所需训练数据格式为：音频(.wav), 文本标注(.txt), 音素时长标注(.interval), 随机初始化训练要求训练数据规模在2小时以上，对于2小时以下的数据集，需使用多人预训练模型进行参数初始化。其中，AM模型训练时间需要1～2天，Vocoder模型训练时间需要5～7天。

预处理

模型训练需对音频文件提取声学特征(梅尔频谱)；音素时长根据配置项中的帧长将时间单位转换成帧数；文本标注，根据配置项中的音素集、音调分类、边界分类转换成对应的one-hot编号；

引用

如果你觉得这个该模型对有所帮助，请考虑引用下面的相关的论文：

本模型参考了以下实现

[1] ming024's FastSpeech2 Implementation

[2] jik876/hifi-gan

[3] kan-bayashi/ParallelWaveGAN

[4] mozilla/TTS

[5] espnet/espnet