speech_synthesizer-laura-en-libritts-16k-codec_nq2-pytorch

Highlights

适用于英文语音合成，具备 zero-shot 说话人自适应能力，也可以作为普通的语音合成器，可用于多种语音合成场景。

较高的语音合成质量

具备 zero-shot 说话人自适应能力

可以用于多种场景，例如音色转换(Voice conversion)

项目介绍

FunCodec 是达摩院语音团队开源的音频量化与合成工具包。

FunCodec 提供了在多领域音频数据集上预训练的音频量化和音频合成模型，可以被应用于低比特率语音通讯、语音离散化表示、zero-shot语音合成、音频合成等相关的学术研究。

本项目提供了在 LibriTTS 上训练的 LauraGPT-style 的语音合成(Text-To-Speech, TTS)模型 LauraTTS。

LauraTTS主要包括两个部分：Decoder-only 的自回归 Transformer 模块和Encoder-only 的非自回归 Transformer 模块：

Decoder-only Transformer可以看做一个conditional 语言模型，它以 prompt text, text 和 prompt audio 作为 conditions，对要合成的语音 token 进行建模。

在本模型中，我们使用 FunCodec通用语音量化器 对原始语音进行量化，使用其前 2 组量化结果来表示 prompt audio 和 目标语音。

Encoder-only Transformer 则以 Decoder-only Transformer 的输出作为输入，以 text 作为 condition，预测FunCodec通用语音量化器隐层的连续表征，

该连续表征可以使用量化器的解码器合成为原始音频波形

更多细节详见：

FunCodec: A Fundamental, Reproducible and Integrable Open-source Toolkit for Neural Speech Codec

LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT

如何使用模型

在本地机器中推理

如果您有本地推理或定制模型的需求，请前往下载 FunCodec 音频量化工具包。

FunCodec 框架安?

安装 FunCodec

使用 FunCodec 进行语音合成

接下以 LibriTTS 数据集为例，介绍如何使用 FunCodec 进行语音合成：

使用 ModelScope 进行语音合成

Benchmark

训练配置

Feature info: text, raw waveform input

Train info: Adam, lr 1e-3, batch bins 10240, 1 gpu(Tesla A100), acc grad 1, 50 epoch, speech max length 30s

Loss info: cross entropy, L1, L2

Model info: Transformer, SEANet, Conv, LSTM

Train config: config.yaml

Model size: 84.19 M parameters

实验结果

Test set: LibriTTS test-clean

Metrics: WER and Ins, Del, Sub errors.

Speaker similarity: Cosine similarity with Resemblyzer encoder

testset WER Ins Del Sub Speaker Simi

:----------------------: :----: :---: :---: :---: :------------:

LibriTTS test-clean 3.01 15 51 200 83.53

LauraTTS 4.56 44 78 278 78.20

使用方式以及适用范围

运行范围

已在 Linux-x86 64 通过测试，暂未测试 Mac 和 Windows 。

使用方式

直接推理：自由合成英文语音或者根据 prompt 合成某种音色说话人的语音，或进行音色转换

微调：请使用 FunCodec 中的 run.sh 进行相关实验

使用范围与目标场景

适用于相关学术研究，在英文数据集上进行语音合成、音色转换等任务。

模型局限性以及可能的偏差

特征提取流程和工具差异，会对 WER 的数值带来一定的差异（ < 0.1 ）

相关论文以及引用信息