模型介绍
中文整理Fun-CosyVoice3-0.5B-SFT-Titanfall2
《泰坦陨落 2》两名中文配音角色 —— **BT-7274(铁驭)** 与 **杰克·库珀(Jack Cooper)** —— 的
免参考( inference sft )语音克隆发布包**。
与配套的 LoRA+zero-shot 发布包不同,本包可在**不提供参考音频**的情况下,凭已注册的说话人嵌入
(spk2info)直接合成任意文本。两说话人合成只需通过 --spk 切换。
免责声明:本作品为粉丝项目,基于游戏官方配音制作,仅用于语音克隆 / TTS 研究与学习,请勿用于商业发布或冒名用途。
快速开始(推荐:Docker 一键启动 Gradio 网页)
前提:宿主机有 **Docker Desktop + NVIDIA GPU**(RTX 3090 实测显存 ~4.3GB fp32、RTF≈1.0)。
浏览器访问 **http://localhost:7860**:选择说话人(BT7274 / JackCooper)、情感指令、语速,
输入文本(多行=多句),点「生成音频」。模型在容器启动时一次性加载(实测约 60s),
多次合成不重复加载。页面参数细节见「Gradio 网页界面」一节。
只想先验证环境/挂载就绪(不占端口、不起 UI):
注:Git Bash 下 -v 的容器路径需写双斜杠 //workspace/... (MSYS 路径转义坑),
run webui.sh 内部已处理;手动敲 docker run 时照上面写法即可。
免参考原理
本项目训练采用官方 SFT 配方( use spk embedding: True ),每样本按说话人嵌入条件学习。
inference sft(tts text, spk id) ( frontend sft )直接取 spk2info[spk id]['embedding'] 作为条件,
- *无需参考音频**。音色由注册的 campplus 说话人嵌入([1,192])驱动。
本包已把两说话人的嵌入合并进 spk2info titanfall2.pt ,即开即用。
文件说明
合成产物落盘到 output/ (运行期自动创建,包内不预置示例音频)。
前置:CosyVoice3 基础模型
本包**已自包含**:基础模型推理所需权重( llm.pt / flow.pt / hift.pt /
campplus.onnx / speech tokenizer v3.onnx / CosyVoice-BlankEN )已随包附带,
infer sft.py / app.py 默认用包内权重,无需单独下载 Fun-CosyVoice3-0.5B 。
需叠加基础模型的环境可用 --base 覆盖(默认回退到同层 models/Fun-CosyVoice3-0.5B )。
命令行本机运行时需官方 CosyVoice 仓库提供 cosyvoice 包( --cosyvoice-repo 指定);
- *优先用包内 docker/cosyvoice/ 副本**——它含 LoRA 挂载必需的 get embed tokens patch,
而网络 clone 的官方仓库没有该 patch,挂 LoRA 会崩。Docker 方式则无需关心,patch 已 baked 进镜像。
训练/量化专用文件( llm.rl.pt 、 speech tokenizer v3.batch.onnx 、 flow.decoder.estimator.fp32.onnx )
未随包附带,仅在训练或 TensorRT 加速时需要,可从基础模型目录补取。
推理用法(命令行)
参数: --spk {BT7274,JackCooper} 、 --base 、 --cosyvoice-repo 、 --lora (覆盖适配器)、
- -spk2info (覆盖嵌入文件)、 --text / --texts-file 、 --out 、 --no-add-instruct 、 --device 、 --fp16 、
- -seed 、 --emotion / --instruct-text (情感指令,见下)。
产物: / sft .wav (24 kHz 单声道 pcm s16le)。
情感指令(方案A:借用基座 instruct 能力)
CosyVoice3 基座训练时以 之前的文本段作风格条件。本包把官方
cosyvoice/utils/common.py::instruct list 的情感模板拼在该标记**之前**、正文之后,
结构与训练分布一致,无需参考音频:
Gradio 界面同样有「情感指令」下拉框。合成文本内还可插细粒度副语言标签
( [breath] [laughter] [sigh] … 等,基座 tokenizer 原生支持)。
⚠️ SFT 训练的 instruct 全部是固定 "You are a helpful assistant." ,未混情感标签——
指令遵循度靠基座零样本泛化,效果需实测;若音色漂移或不跟随,回退 --emotion neutral
或改用 zero-shot 情绪参考音频。彻底稳定方案:带情感标注重训。
- -fp16 :官方 AMP 半精度。RTX 3090 实测**不推荐**——RTF 0.91 vs fp32 0.72(更慢 ~20%),
显存 5.6G vs 4.7G(反而更高),因为 AMP 只在算子层 cast、权重仍是 fp32。默认关闭保持 fp32。
Gradio 网页界面
app.py 提供完整网页界面(启动方式见顶部「快速开始」)。暴露参数:
控件 说明
- ----- ------
说话人 BT7274 / JackCooper 下拉切换
情感指令 方案A 模板下拉(neutral 默认不加)
语速 0.5–2.0
INSTRUCT 开关 拼接 "You are a helpful assistant." 前缀(对齐训练分布,默认开)
fp16 **仅启动时生效**:模型按启动态加载,网页勾选会被忽略并提示;3090 建议保持 fp32
随机种子 -1 = 不固定
批量文本文件 .txt 每行一句,覆盖文本框
输出目录 留空不落盘;默认 output/ (自动创建)
多句合成后前端整体可播放/下载,状态栏逐句明细。
Docker 实现要点
组件 说明
- ----- ------
app.py Gradio 界面;与 infer sft.py 同源加载逻辑(CosyVoice3 + 挂 LoRA + 载入 spk2info)
docker/Dockerfile 自包含构建: FROM docker.m.daocloud.io/nvidia/cuda 从零装全部依赖 + gradio==5.4.0
docker/cosyvoice/ CosyVoice 源码副本(已裁掉 examples/runtime/tools 等训练/部署文件,仅保留推理所需),**含 get embed tokens patch**,构建时 baked 进镜像
docker/run webui.sh 构建 + 启动;运行时挂载本发布包(含 5.2GB 权重),7860 端口
.dockerignore 模型权重不进 build context(运行时挂载),加速构建
- *为什么 CosyVoice 要打包进镜像**:LoRA 挂载( get embed tokens )依赖对该文件的本地 patch,
该 patch 是工作区改动、未提交到 git,网络 clone 会丢失 → 构建时 COPY 本地源码副本(含 patch)。
- *模型权重不进镜像**:llm.pt/flow.pt/hift.pt/onnx/CosyVoice-BlankEN 共约 5.2GB,由
run webui.sh 运行时挂载本发布包, app.py --base=. 直接命中,无需单独下载。
- *Matcha-TTS**:构建时自动 git clone(gitclone 回退 GitHub),无需手动准备。
已知现象(均不影响使用)
启动时打 no frontend is avaliable 警告:wetext 资源联网拉取偶发失败所致,
inference sft(text frontend=True) 有内置回退,合成正常。
宿主机 7860 可能被 Docker Desktop WSL 转发占用 → 换端口启动即可。
onnxruntime CUDAExecutionProvider not available 警告:speaker/tokenizer 走 CPU,无影响。
与 LoRA+zero-shot 发布包的关系
发布包 合成方式 需要参考音频
- ------- --------- -------------
Fun-CosyVoice3-0.5B-Lora-* (每说话人一个) inference zero shot ✅ 必须
- *本包(SFT)** inference sft ( --spk 切换) ❌ **不需要**
两者可共存:需要极致音色跟随参考时用 zero-shot;需要免参考、仅固定角色音色时用本包。
环境依赖
- *Docker 方式**:仅需 Docker Desktop + NVIDIA GPU + 能拉 daocloud 基础镜像,其余全部 baked。
- *本机直接运行**:torch(+cu121)、peft、transformers、HyperPyYAML、onnxruntime、wetext、
gradio==5.4.0、Matcha-TTS 等(清单见 docker/requirements.container.txt ),
并把 --cosyvoice-repo 指向含 patch 的源码(本包 docker/cosyvoice/ 即可)。
与训练一致的 Docker 环境( cosyvoice-lora )或官方 CosyVoice3 运行环境均可。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
