模型介绍
中文整理Sherpa Speech Model Collection
本仓库整理了多套可直接在 Sherpa/Sherpa-ONNX 环境中部署的语音模型,涵盖
离线语音识别(ASR)和中文/中英混合文本转语音(TTS)。所有模型均已转换为
ONNX 或提供可复现的转换脚本,方便快速集成或二次微调。
目录速览
路径 任务 说明
- -- --- ---
sherpa-onnx-sense-voice-zh-en-ja-ko-yue-2024-07-17/ ASR 来自 FunAudioLLM SenseVoice 的多语种 Conformer Transducer,含 FP32 与 INT8 ONNX。
matcha-icefall-zh-baker/ TTS 使用 DataBaker 女声语料在 icefall/Matcha 训练,附 lexicon/FST 资源与 22 kHz Vocos。
matcha tts zh en 20251010/ TTS 基于 dengcunqin/matcha tts zh en 微调的温柔女声,提供 PyTorch/ONNX 权重及测试脚本。
configuration.json 元数据 面向 ModelScope 的框架/任务标注。
各子目录还包含额外 README 或脚本,建议在使用前仔细阅读以了解数据限制、导出
方式及注意事项。
下载方式
- ModelScope SDK
- Git 克隆
快速使用
SenseVoice Sherpa-ONNX ASR
主要文件: model.onnx 、 model.int8.onnx 、 tokens.txt 、 export-onnx.py 、 test wavs/
环境准备: pip install -U sherpa-onnx soundfile
推理示例:
想节省 CPU 资源时,可改用 model.int8.onnx 。 export-onnx.py 展示了从原始
SenseVoice 检查点导出的流程,方便复现或自定义量化设置。
Matcha Icefall DataBaker TTS
主要文件: model-steps-3.onnx 、 vocos-22khz-univ.onnx 、 lexicon.txt 、多个 FST
( date.fst 、 number.fst 等) 和 tokens.txt 。
数据集来自 DataBaker,仅限非商业用途;请遵循子目录 README 中的声明。
在 Sherpa-ONNX 中合成示例:
若需重新训练或微调,可参考 icefall 仓库 egs/baker zh/TTS 中的完整脚本。
Matcha TTS zh/en 20251010(温柔女声)
主要文件: pytorch model*.bin 、 model-steps-3.onnx 、 model-steps-6.onnx 、
vocos-16khz-univ.onnx 、 tokens.txt 、 vocab tts.txt 、 test sherpa onnx.py 。
演示脚本:
将脚本中的 text 或 ids 替换为自定义内容即可生成音频。PyTorch 权重允许继续
在自有语料上微调,并可借助脚本导出新的 ONNX 文件。
在线体验(贡献者提供):https://www.tulingyun.com/tts.html ,语音模型选择温柔女声。
贡献与支持
需要补充模型卡片或上传新的权重,可参考
ModelScope 模型贡献流程。
如果在模型使用或部署中遇到问题,可在本仓库提交 issue/PR,或按照子目录 README
中提供的联系方式(如微信)沟通。
所有模型遵循 Apache 2.0 许可证,但若涉及第三方语料(如 DataBaker),请遵守
其原始授权条款及非商业使用限制。
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.
