Model details
模型介绍
中文整理目标说话人提取 (Target Speaker Extraction)
本项目是一个基于深度学习的单通道目标说话人提取（TSE）模型。给定一段混合音频（包含多人同时说话）和一段目标说话人的参考音频，模型能够从嘈杂的混音中，精准剥离并提取出目标说话人的纯净声音，同时强力压制其他干扰者的声音。
✨ 核心特性
- *极速推理**: 4090，batch=1,RTF:0.0004;batch=32,batch rtf(0.0016),单条音频RTF：0.0001。notebook上纯CPU测试rtf:0.01。
- *声纹定向提取**：内置轻量级声纹编码器（Speaker Encoder），通过 FiLM 层将声纹特征注入主干网络，实现“听音识人”。
- *无损全长推理**：全卷积与时序卷积网络（TCN）架构，无固定截断限制，天然支持任意长度的混合音频与参考音频。
- *强悍的抗混叠与防欺骗**：针对 2~6 人高重叠度场景设计，包含负样本训练机制，当目标说话人未在混音中发声时，能准确输出静音（VAD 拦截）。
模型训练
本模型目前仅通过单张 RTX 4090 进行了数小时的初步训练。当前权重旨在为社区提供一个跑通的 Baseline（基准模型） 与验证链路。受限于算力与数据规模，模型仍有巨大的潜力空间，期待开源社区在此基础上进行更大规模的训练、微调与持续迭代。
📂 核心文件说明
ulunas tse.py ：核心模型架构定义。
test ulunas tse custom.py ：定制化评测脚本。使用同一说话人的不同音频作为参考和目标，自动对齐任意长度音频，测试 2-6 人正样本及负样本场景。
test ulunas tse rtf.py ：工业级实时率（RTF）与吞吐量性能测试工具，用于评估模型在 CPU/GPU 上的推理延迟。
关于作者
作者常驻广州，专注语音技术方向（ASR/TTS），目前正积极寻找本地相关工作机会。
如有兴趣交流，欢迎通过邮箱联系（2735033883@qq.com）。
微信：game for enjoy（请备注来意）
model dir = snapshot download('dengcunqin/TSE')
Git模型下载
git clone https://www.modelscope.cn/dengcunqin/TSE.git
优先采用原作者提供的中文模型卡片；仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件；指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖，请按作者说明配齐。
完整仓库可能包含多个权重格式，因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖，以原作者说明为准。
授权范围是否允许商用、修改和分发，请查看模型许可证。
闲社提供资料与镜像下载方法，不代表已运行模型或完成安全审计。下载的代码应先检查，再执行。
Problem with the information or download?
Sign in to submit feedback.
