NVIDIA于2026年9月30日展示Nemotron 3.5 ASR的沙特Najdi/Hijazi方言微调流程:133.7小时语音让目标测试集WER从55.05%降至29.96%,解码优化可进一步降至27.25%,但会增加延迟,结果仍受特定数据和部署条件限制。 ...
|
事件概述:NVIDIA 技术博客于 2026 年 9 月 30 日发布教程,展示如何用 NVIDIA Nemotron 3.5 ASR 和 NeMo 框架适配沙特阿拉伯 Najdi、Hijazi 方言。官方指出,多语言模型即使支持阿拉伯语,在地方方言和真实录音条件下仍可能明显失准,因此需要针对部署方言进行微调。 对象与开发者:对象是支持 40 个语言区域流式转写的 NVIDIA Nemotron 3.5 ASR;教程作者为 NVIDIA 的 Imane Khaouja、Amine El Khair、Meshari Alaeena、Zahra Al-Kaf 和 Abdulrahman Alkhamees。 官方发布日期:NVIDIA Technical Blog 标注发布于 2026 年 9 月 30 日。 关键能力与改动:流程先对 SADA 2022 语音数据做轻量清洗,再用 FLEURS 英语和阿拉伯语数据进行加权回放,配合按时长分桶和部分编码器解冻,以减少灾难性遗忘。133.7 小时 Najdi 与 Hijazi 语音微调后,目标测试集 WER 从 55.05% 降至 29.96%,CER 从 31.63% 降至 12.18%;FLEURS 英语 WER 从 11.04% 变为 10.42%,阿拉伯语 WER 从 12.67% 变为 11.41%。在不重新训练的情况下,13 帧前瞻上下文配合 MALSD beam-8,将目标测试集 WER 再降到 27.25%,代价是约 800 毫秒额外延迟。文章还介绍了 Nemotron 3 Diarization,可把最多 8 名说话人的边界与 ASR 时间戳对齐。 适用对象:需要阿拉伯地区呼叫中心、会议、媒体或政企场景进行方言转写的团队,以及拥有标注语音、希望在保留原有多语言能力的同时适配本地口音的 ASR 开发者。 实际影响与限制:这套方法说明低资源方言适配可以通过目标数据、回放混合和解冻深度取得明显收益,且解码设置可在不重训时换取准确率。但结果来自特定 SADA 数据、两张 RTX PRO 6000 Blackwell 工作站 GPU 和独立评测配置,不能直接推广到所有阿拉伯方言或录音环境;部分解冻减少算力却可能牺牲准确率,扩大前瞻上下文会增加实时延迟,beam 搜索收益也依赖解码器配置。团队仍需使用自有数据、词汇和延迟目标复测。 |
0