闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

Fun-CosyVoice3-0.5B-SFT-Titanfall2

antixer/Fun-CosyVoice3-0.5B-SFT-Titanfall2

发布机构antixer

下载访问条件魔搭来源

Fun-CosyVoice3-0.5B-SFT-Titanfall2 《泰坦陨落 2》两名中文配音角色 —— BT-7274(铁驭) 与 杰克·库珀(Jack Cooper) —— 的 免参考( inference sft )语音克隆发布包。

语音音频
模型详情

模型介绍

中文整理

Fun-CosyVoice3-0.5B-SFT-Titanfall2

《泰坦陨落 2》两名中文配音角色 —— **BT-7274(铁驭)** 与 **杰克·库珀(Jack Cooper)** —— 的

免参考( inference sft )语音克隆发布包**。

与配套的 LoRA+zero-shot 发布包不同,本包可在**不提供参考音频**的情况下,凭已注册的说话人嵌入

(spk2info)直接合成任意文本。两说话人合成只需通过 --spk 切换。

免责声明:本作品为粉丝项目,基于游戏官方配音制作,仅用于语音克隆 / TTS 研究与学习,请勿用于商业发布或冒名用途。

快速开始(推荐:Docker 一键启动 Gradio 网页)

前提:宿主机有 **Docker Desktop + NVIDIA GPU**(RTX 3090 实测显存 ~4.3GB fp32、RTF≈1.0)。

浏览器访问 **http://localhost:7860**:选择说话人(BT7274 / JackCooper)、情感指令、语速,

输入文本(多行=多句),点「生成音频」。模型在容器启动时一次性加载(实测约 60s),

多次合成不重复加载。页面参数细节见「Gradio 网页界面」一节。

只想先验证环境/挂载就绪(不占端口、不起 UI):

注:Git Bash 下 -v 的容器路径需写双斜杠 //workspace/... (MSYS 路径转义坑),

run webui.sh 内部已处理;手动敲 docker run 时照上面写法即可。

免参考原理

本项目训练采用官方 SFT 配方( use spk embedding: True ),每样本按说话人嵌入条件学习。

inference sft(tts text, spk id) ( frontend sft )直接取 spk2info[spk id]['embedding'] 作为条件,

  • *无需参考音频**。音色由注册的 campplus 说话人嵌入([1,192])驱动。

本包已把两说话人的嵌入合并进 spk2info titanfall2.pt ,即开即用。

文件说明

合成产物落盘到 output/ (运行期自动创建,包内不预置示例音频)。

前置:CosyVoice3 基础模型

本包**已自包含**:基础模型推理所需权重( llm.pt / flow.pt / hift.pt /

campplus.onnx / speech tokenizer v3.onnx / CosyVoice-BlankEN )已随包附带,

infer sft.py / app.py 默认用包内权重,无需单独下载 Fun-CosyVoice3-0.5B 。

需叠加基础模型的环境可用 --base 覆盖(默认回退到同层 models/Fun-CosyVoice3-0.5B )。

命令行本机运行时需官方 CosyVoice 仓库提供 cosyvoice 包( --cosyvoice-repo 指定);

  • *优先用包内 docker/cosyvoice/ 副本**——它含 LoRA 挂载必需的 get embed tokens patch,

而网络 clone 的官方仓库没有该 patch,挂 LoRA 会崩。Docker 方式则无需关心,patch 已 baked 进镜像。

训练/量化专用文件( llm.rl.pt 、 speech tokenizer v3.batch.onnx 、 flow.decoder.estimator.fp32.onnx )

未随包附带,仅在训练或 TensorRT 加速时需要,可从基础模型目录补取。

推理用法(命令行)

参数: --spk {BT7274,JackCooper} 、 --base 、 --cosyvoice-repo 、 --lora (覆盖适配器)、

  • -spk2info (覆盖嵌入文件)、 --text / --texts-file 、 --out 、 --no-add-instruct 、 --device 、 --fp16 、
  • -seed 、 --emotion / --instruct-text (情感指令,见下)。

产物: / sft .wav (24 kHz 单声道 pcm s16le)。

情感指令(方案A:借用基座 instruct 能力)

CosyVoice3 基座训练时以 之前的文本段作风格条件。本包把官方

cosyvoice/utils/common.py::instruct list 的情感模板拼在该标记**之前**、正文之后,

结构与训练分布一致,无需参考音频:

Gradio 界面同样有「情感指令」下拉框。合成文本内还可插细粒度副语言标签

( [breath] [laughter] [sigh] … 等,基座 tokenizer 原生支持)。

⚠️ SFT 训练的 instruct 全部是固定 "You are a helpful assistant." ,未混情感标签——

指令遵循度靠基座零样本泛化,效果需实测;若音色漂移或不跟随,回退 --emotion neutral

或改用 zero-shot 情绪参考音频。彻底稳定方案:带情感标注重训。

  • -fp16 :官方 AMP 半精度。RTX 3090 实测**不推荐**——RTF 0.91 vs fp32 0.72(更慢 ~20%),

显存 5.6G vs 4.7G(反而更高),因为 AMP 只在算子层 cast、权重仍是 fp32。默认关闭保持 fp32。

Gradio 网页界面

app.py 提供完整网页界面(启动方式见顶部「快速开始」)。暴露参数:

控件 说明

  • ----- ------

说话人 BT7274 / JackCooper 下拉切换

情感指令 方案A 模板下拉(neutral 默认不加)

语速 0.5–2.0

INSTRUCT 开关 拼接 "You are a helpful assistant." 前缀(对齐训练分布,默认开)

fp16 **仅启动时生效**:模型按启动态加载,网页勾选会被忽略并提示;3090 建议保持 fp32

随机种子 -1 = 不固定

批量文本文件 .txt 每行一句,覆盖文本框

输出目录 留空不落盘;默认 output/ (自动创建)

多句合成后前端整体可播放/下载,状态栏逐句明细。

Docker 实现要点

组件 说明

  • ----- ------

app.py Gradio 界面;与 infer sft.py 同源加载逻辑(CosyVoice3 + 挂 LoRA + 载入 spk2info)

docker/Dockerfile 自包含构建: FROM docker.m.daocloud.io/nvidia/cuda 从零装全部依赖 + gradio==5.4.0

docker/cosyvoice/ CosyVoice 源码副本(已裁掉 examples/runtime/tools 等训练/部署文件,仅保留推理所需),**含 get embed tokens patch**,构建时 baked 进镜像

docker/run webui.sh 构建 + 启动;运行时挂载本发布包(含 5.2GB 权重),7860 端口

.dockerignore 模型权重不进 build context(运行时挂载),加速构建

  • *为什么 CosyVoice 要打包进镜像**:LoRA 挂载( get embed tokens )依赖对该文件的本地 patch,

该 patch 是工作区改动、未提交到 git,网络 clone 会丢失 → 构建时 COPY 本地源码副本(含 patch)。

  • *模型权重不进镜像**:llm.pt/flow.pt/hift.pt/onnx/CosyVoice-BlankEN 共约 5.2GB,由

run webui.sh 运行时挂载本发布包, app.py --base=. 直接命中,无需单独下载。

  • *Matcha-TTS**:构建时自动 git clone(gitclone 回退 GitHub),无需手动准备。

已知现象(均不影响使用)

启动时打 no frontend is avaliable 警告:wetext 资源联网拉取偶发失败所致,

inference sft(text frontend=True) 有内置回退,合成正常。

宿主机 7860 可能被 Docker Desktop WSL 转发占用 → 换端口启动即可。

onnxruntime CUDAExecutionProvider not available 警告:speaker/tokenizer 走 CPU,无影响。

与 LoRA+zero-shot 发布包的关系

发布包 合成方式 需要参考音频

  • ------- --------- -------------

Fun-CosyVoice3-0.5B-Lora-* (每说话人一个) inference zero shot ✅ 必须

  • *本包(SFT)** inference sft ( --spk 切换) ❌ **不需要**

两者可共存:需要极致音色跟随参考时用 zero-shot;需要免参考、仅固定角色音色时用本包。

环境依赖

  • *Docker 方式**:仅需 Docker Desktop + NVIDIA GPU + 能拉 daocloud 基础镜像,其余全部 baked。
  • *本机直接运行**:torch(+cu121)、peft、transformers、HyperPyYAML、onnxruntime、wetext、

gradio==5.4.0、Matcha-TTS 等(清单见 docker/requirements.container.txt ),

并把 --cosyvoice-repo 指向含 patch 的源码(本包 docker/cosyvoice/ 即可)。

与训练一致的 Docker 环境( cosyvoice-lora )或官方 CosyVoice3 运行环境均可。

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部