Whisper + Piper 语音流水线

将本地STT（语音转文本）和TTS（文本转语音）整合为单一HTTP服务器。零云依赖。

架构

音频输入 → POST /transcribe → Whisper (faster-whisper) → JSON {文本, 语言}
文本输入 → POST /speak → Piper TTS → ffmpeg → audio/ogg (Opus)

两个端点运行在同一个Python进程中，共用同一端口（默认：9998）。

快速开始

1. 1. 安装依赖：

bash python3 -m venv ~/whisper-env && source ~/whisper-env/bin/activate pip install faster-whisper apt install ffmpeg # 或 macOS 上使用 brew install ffmpeg

1. 2. 下载Piper及语音模型：

bash mkdir -p ~/piper && cd ~/piper wget https://github.com/rhasspy/piper/releases/latest/download/piperlinuxx86_64.tar.gz tar xzf piperlinuxx86_64.tar.gz mkdir voices && cd voices wget https://huggingface.co/rhasspy/piper-voices/resolve/main/de/deDE/thorstenemotional/medium/deDE-thorstenemotional-medium.onnx wget https://huggingface.co/rhasspy/piper-voices/resolve/main/de/deDE/thorstenemotional/medium/deDE-thorstenemotional-medium.onnx.json

1. 3. 运行服务器（scripts/voice-server.py）：

bash python3 voice-server.py --port 9998 \ --whisper-model small --whisper-device cpu \ --piper-bin ~/piper/piper/piper \ --piper-model ~/piper/voices/deDE-thorstenemotional-medium.onnx

API

转写（音频→文本）：
bash
curl -X POST -F file=@message.ogg http://HOST:9998/transcribe

{text: Hallo Welt, language: de}

语音合成（文本→音频）：
bash
curl -X POST -H Content-Type: application/json \
-d {text: Hallo Welt, speaker: 4} \
http://HOST:9998/speak -o response.ogg

配置

参数	默认值	描述
--port	9998	服务器端口
--whisper-model

small | tiny/base/small/medium/large-v3 | | --whisper-device | cpu | cpu 或 cuda | | --piper-bin | （必填） | Piper可执行文件路径 | | --piper-model | （必填） | .onnx语音模型文件路径 | | --piper-speaker | 4 | 说话人ID（多说话人模型） | | --speed | 0.9 | TTS语速（数值越低越快） |

选择模型

Whisper： CPU推荐使用small（性能均衡），GPU推荐使用medium（无需large-v3开销即可获得最佳质量）。

Piper语音： 浏览 https://rhasspy.github.io/piper-samples/ — 下载 .onnx 和 .onnx.json 文件。

完整设置指南

阅读 references/setup-guide.md 了解systemd服务配置、所有语音选项、模型对比表以及OpenClaw集成详情。