target_diarization_models

TargetDiarization

TargetDiarization (目标说话人日志) 是一个基于深度学习的音频处理系统，用于从多人对话中识别和提取特定说话人的语音内容。系统集成了音频处理、说话人分离、语音文本识别、说话人日志等多项技术，可以准确地从复杂的音频环境中分离出目标说话人的语音并转换为文字。

Homepage •

Models •

License

快速演示

您的浏览器不支持视频播放。可以下载后观看：assets/webui demo.mp4

任务：从多人混合音频中分离出目标说话人音频内容，并对音频中所有说话人进行ASR识别。

输入：多人混合音频、提前录制的目标说话人音频样本。

输出：每个人的说话人日志、分离出的目标说话人音频。

项目亮点

项目是基于开源模型的高度集成的工程化项目，融合了多种业界前沿的SOTA模型，确保在各个处理环节（如分离、降噪、识别）都达到最高性能。

提供从音频预处理到语音转写的端到端解决方案，支持非流式和实时流式两种模式，适应不同场景需求。

提供了命令行、REST API、WebSocket和Web界面等多种调用方式，开箱即用。

参数化设计，使用者可根据自身需求替换或调整其中的模型、参数。

模块化设计，以大写字母开头的.py文件可以作为单独的Python包，导入到自己的项目中使用。

更新日志

• 9.25：发布初版

技术架构

系统采用多模型融合的架构设计：

• *端点检测**: CAM++ Diarization

• *重叠检测**: Pyannote Diarization

• *音频降噪**: UVR-MDX-Net

• *VAD识别**: FSMN-Monophone VAD

• *语音分离**: MossFormer2 (self-finetune version)

• *音频修复**: Apollo

• *声纹识别**: ERes2NetV2-Large

• *ASR识别**: Paraformer / Whisper / SenseVoice

• *标点修复**: CT-Transformer

Quick start

推荐环境

Python 3.10

NVIDIA CUDA 12.1

16GB+ 内存

8GB+ 显存

安装依赖（以Anaconda为例）

创建虚拟环境

激活虚拟环境

安装PyTorch与其它依赖

克隆项目代码与下载模型

克隆项目代码

一键下载所有预训练模型：

模型路径说明：

基本使用

• 启动参数调整（可选）

请将项目中 .env.example 文件复制一份并重命名为 .env

.env 中调整的参数为初始化参数，项目运行后参数将被固定，修改需重启项目

可调整的内容：模型路径、模型参数、GPU设备、禁用模块等

• 命令行调用

非流式调用：

• Gradio界面

仅非流式Demo：

返回结果：

• Web API服务

使用curl测试API：（非流式）

浏览器打开Web演示界面：（非流式 + 流式）

进阶：API详细说明

启动Web服务

HTTP非流式处理

• 健康检查

检查服务运行状态和模型加载情况。

响应示例：**

• 音频推理

上传音频文件进行说话人分离和语音识别。

请求参数：**

audio file (file, required): 待处理的音频文件

target file (file, optional): 目标说话人样本音频

sampling rate (int, default=16000): 音频采样率

is single (bool, default=false): 是否为单说话人模式

output target audio (bool, default=true): 是否输出目标说话人音频

使用示例：**

JavaScript fetch:

响应格式：**

WebSocket流式处理

连接地址

WebSocket流式处理支持实时音频数据传输和即时结果返回。

连接流程：**

• **建立连接**

• **发送配置**

• **发送目标音频（可选）**

• **发送音频流数据**

消息格式：**

配置确认：

实时结果：

状态消息：

错误消息：

特别鸣谢

CAM++ Diarization

Pyannote Diarization

FSMN-Monophone VAD

Paraformer-Large

CT-Transformer

ERes2NetV2-Large

Apollo

Look2hear

Ultimate Vocal Remover

License

Apache License 2.0