模型介绍
中文整理Highlights
适用于英文语音合成，具备 zero-shot 说话人自适应能力，也可以作为普通的语音合成器，可用于多种语音合成场景。
较高的语音合成质量
具备 zero-shot 说话人自适应能力
可以用于多种场景，例如音色转换(Voice conversion)
项目介绍
FunCodec 是达摩院语音团队开源的音频量化与合成工具包。
FunCodec 提供了在多领域音频数据集上预训练的音频量化和音频合成模型，可以被应用于低比特率语音通讯、语音离散化表示、zero-shot语音合成、音频合成等相关的学术研究。
本项目提供了在 LibriTTS 上训练的 LauraGPT-style 的语音合成(Text-To-Speech, TTS)模型 LauraTTS。
LauraTTS主要包括两个部分：Decoder-only 的自回归 Transformer 模块和Encoder-only 的非自回归 Transformer 模块：
Decoder-only Transformer可以看做一个conditional 语言模型，它以 prompt text, text 和 prompt audio 作为 conditions，对要合成的语音 token 进行建模。
在本模型中，我们使用 FunCodec通用语音量化器 对原始语音进行量化，使用其前 2 组量化结果来表示 prompt audio 和 目标语音。
Encoder-only Transformer 则以 Decoder-only Transformer 的输出作为输入，以 text 作为 condition，预测FunCodec通用语音量化器隐层的连续表征，
该连续表征可以使用量化器的解码器合成为原始音频波形
更多细节详见：
FunCodec: A Fundamental, Reproducible and Integrable Open-source Toolkit for Neural Speech Codec
LauraGPT: Listen, Attend, Understand, and Regenerate Audio with GPT
如何使用模型
在本地机器中推理
如果您有本地推理或定制模型的需求，请前往下载 FunCodec 音频量化工具包。
FunCodec 框架安?
安装 FunCodec
使用 FunCodec 进行语音合成
接下以 LibriTTS 数据集为例，介绍如何使用 FunCodec 进行语音合成：
使用 ModelScope 进行语音合成
Benchmark
训练配置
Feature info: text, raw waveform input
Train info: Adam, lr 1e-3, batch bins 10240, 1 gpu(Tesla A100), acc grad 1, 50 epoch, speech max length 30s
Loss info: cross entropy, L1, L2
Model info: Transformer, SEANet, Conv, LSTM
Train config: config.yaml
Model size: 84.19 M parameters
实验结果
Test set: LibriTTS test-clean
Metrics: WER and Ins, Del, Sub errors.
Speaker similarity: Cosine similarity with Resemblyzer encoder
testset WER Ins Del Sub Speaker Simi
:----------------------: :----: :---: :---: :---: :------------:
LibriTTS test-clean 3.01 15 51 200 83.53
LauraTTS 4.56 44 78 278 78.20
使用方式以及适用范围
运行范围
已在 Linux-x86 64 通过测试，暂未测试 Mac 和 Windows 。
使用方式
直接推理：自由合成英文语音或者根据 prompt 合成某种音色说话人的语音，或进行音色转换
微调：请使用 FunCodec 中的 run.sh 进行相关实验
使用范围与目标场景
适用于相关学术研究，在英文数据集上进行语音合成、音色转换等任务。
模型局限性以及可能的偏差
特征提取流程和工具差异，会对 WER 的数值带来一定的差异（ < 0.1 ）
相关论文以及引用信息
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖，以原作者说明为准。
是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
资料或下载有问题？
登录后可提交反馈。