SenseVoice 转录

使用 FunASR 的 iic/SenseVoiceSmall 模型，结合 fsmn-vad 进行时间戳锚定，将音频转录为带时间戳的文本。

处理流程

1. 1. FSMN-VAD 将音频分割为语音片段（30分钟文件约258个片段）
2. SenseVoice-Small 以 mergevad=True 模式转录完整音频
3. 原始文本通过 <|zh|> 标签分割 → 经 richtranscription_postprocess() 清洗
4. 文本片段按比例映射到 VAD 时间戳
5. 输出：每行 [HH:MM:SS] 文本，约15秒粒度

环境配置

虚拟环境：~/.openclaw/venvs/sensevoice/
Python：3.12
关键包：funasr==1.3.1, modelscope, onnxruntime
模型缓存：~/.cache/modelscope/hub/models/iic/SenseVoiceSmall
VAD缓存：~/.cache/modelscope/hub/models/iic/speechfsmnvad_zh-cn-16k-common-pytorch

首次设置

bash
python3 -m venv ~/.openclaw/venvs/sensevoice
source ~/.openclaw/venvs/sensevoice/bin/activate
pip install funasr modelscope onnxruntime

模型在首次运行时自动下载（~234MB SenseVoice + ~4MB VAD）

使用方法

单个文件

bash
source ~/.openclaw/venvs/sensevoice/bin/activate
python3 -c
from funasr import AutoModel
from funasr.utils.postprocessutils import richtranscription_postprocess
from datetime import datetime, timedelta
import re

wav =

从文件名解析开始时间：TX01MIC01520260308124130orig.wav

m = re.search(r(\d{8})_(\d{6}), wav)
start_dt = datetime.strptime(m.group(1)+m.group(2), %Y%m%d%H%M%S) if m else None

vadmodel = AutoModel(model=fsmn-vad, disableupdate=True)
model = AutoModel(model=iic/SenseVoiceSmall, vad_model=fsmn-vad,
vadkwargs={maxsinglesegmenttime: 30000}, device=cpu)

vadsegs = vadmodel.generate(input=wav)[0].get(value, [])
res = model.generate(input=wav, cache={}, language=zh, use_itn=True,
batchsizes=60, merge_vad=True)

texts = [richtranscriptionpostprocess(s).strip()
for s in re.split(r<\|zh\|>, res[0][text]) if s.strip()]
texts = [s for s in texts if len(s) > 1]

ratio = len(vad_segs) / len(texts) if texts else 1
for i, t in enumerate(texts):
vi = min(int(i * ratio), len(vad_segs)-1)
ts = (startdt + timedelta(milliseconds=vadsegs[vi][0])).strftime(%H:%M:%S) if startdt else f{vadsegs[vi][0]//1000:.0f}s
print(f[{ts}] {t})

批量模式（日志处理）

配套的 scripts/batch_transcribe.py 脚本处理完整的日志流程：

bash
source ~/.openclaw/venvs/sensevoice/bin/activate
cd ~/Documents/dec/daylog

预览模式——查看将要转录的内容

python3 scripts/batch_transcribe.py --dry-run

转录所有新文件

python3 scripts/batch_transcribe.py

重新转录特定日期（删除现有文件后重新运行）

python3 scripts/batch_transcribe.py --force-dates 2026-03-07,2026-03-08

带进度文件和 Discord 通知

python3 scripts/batch_transcribe.py \ --progress-file /tmp/daylog-progress.json \ --discord-webhook https://discord.com/api/webhooks/...

参数说明：

参数	说明
--dry-run	预览模式，不写入文件
--engine sensevoice\

whisper | 引擎（默认：sensevoice） |
| --force-dates YYYY-MM-DD,... | 删除并重新转录这些日期 |
| --progress-file PATH | 写入 JSON 进度用于监控 |
| --discord-webhook URL | 向 Discord 发送开始/里程碑/完成通知 |

目录结构：

daylog/
├── raw/ # WAV 输入（DJI MIC 3，48kHz/32bit，~247MB/30分钟）
│ ├── TX01MIC00920260308094129orig.wav
│ └── ...
├── transcripts/ # 输出，按日期分组
│ └── 2026-03-08/
│ ├── 000TX01MIC00920260308094129_orig.txt
│ └── ...
└── notes/ # 编译的每日笔记（单独步骤）
└── 2026-03-08.md

行为说明：

• - 根据文件名中的日期（YYYYMMDD）对 WAV 文件进行分组
• 按每个日期内的时间戳排序，确保正确的时间顺序
• 跳过已转录的文件，除非使用 --force-dates
• 输出文件名带索引（000、001、...）以确保排序顺序
• 每完成25%进度发送 Discord 里程碑通知

输出格式

[录音开始: 09:41:29]
[09:41:35] 到了，我们下车吧。
[09:41:48] 武康大楼，人好多啊。
[09:42:04] 你帮我在这里拍一张。
...

性能表现（Apple M4，10核CPU）

指标	数值
RTF	~0.04（25倍实时）
CPU

~1.2核（12%） | | 内存 | ~1.5GB | | 30分钟WAV | ~73秒转录 + ~4秒VAD | | 准确率 | 92%关键词准确率（对比Whisper-medium 23%、turbo 38%） | | 幻觉 | 0（对比Whisper每会话数百次） | | 模型大小 | 234MB（对比Whisper-large-v3-turbo 1.5GB） |

对比旧版Whisper技能

	Whisper（旧版）	SenseVoice（新版）
模型	mlx-whisper-medium	SenseVoice-Small（234MB）
准确率

23-38% | 92% | | 幻觉 | 每会话数百次 | 0 | | 时间戳 | 逐词（~2-4秒） | VAD锚定（~15秒） | | 重复行 | ~23% | <0.2% | | 中文支持 | 弱 | 原生（普通话优化） |

表情符号说明

SenseVoice 会为片段附加情感标签（😊😔😡😮）。这些是模型产物，反映检测到的语音情感，并非音频中的实际表情符号。下游处理（笔记编译）应忽略或去除这些标签。