sherpa-onnx-sense-voice-small

转换说明

从 modelscope 网站 iic/SenseVoiceSmall 模型转换而来。

参考 https://github.com/k2-fsa/sherpa-onnx/blob/master/scripts/sense-voice/export-onnx.py 脚本，完成 onnx 模型导出。

下载模型

SDK 下载

Git 下载

本地应用

默认为 cpu 推理， gpu 加速推理需要安装 sherpa-onnx==1.12.32+cuda 或 sherpa-onnx==1.12.32+cuda12 ，需要和本地 cuda/cudnn 版本匹配。

环境

推荐使用虚拟环境进行包管理，基础环境要求： python >= 3.12。

gpu 推理时执行 pip install sherpa-onnx==1.12.32+cuda -f https://k2-fsa.github.io/sherpa/onnx/cuda.html 。

程序

http 和 websocket 服务器请查看目录下的 http ws server.py 文件。

websocket 测试客户端请查看目录下的 ws client.py 文件。

VAD 模型

FireRedVAD

这里提供一份使用 FireRedTeam/FireRedVAD 流式识别语音片段，结合 sherpa-onnx-sense-voice-small 生成音频文件字幕的示例代码，该 VAD 识别效果较好。

代码

结果

发送请求

接收响应

timestamps 和 tokens 对象由于输出太多，这里省略。

特性

• 支持推理 **全量模型** 和 **量化模型**。
• 支持 **多核 CPU 加速** 推理，Windows 系统 4C 8G 机器 10 个字以内推理耗时：全量（100ms），量化（60ms）。
• 支持非实时识别，自动重采样为 **16 khz**，**http** 服务提供 **短语音识别（30s 内）**。
• 结合 **sliero-vad** 支持实时切分识别，通过 **websocket** 实现，分为 **start**、**normal** 和 **stop** 类型，通信协议暂时采用简单的 **json+base64（二进制）**。
• 新增 **config.json** 配置文件，支持配置 **stt** 和 **vad** 模型参数。

#### 模型目录结构

常见问题

• 接口应用只是一个简单的示例服务，需要自行测试。
• 如有相关疑问，请在讨论区提出。
• 默认 API KEY 会在应用启动时输出至日志文件或控制台。