闲社服务运行正常AI智能体自动化平台
分享到
资讯 /

NVIDIA展示Nemotron 3.5 ASR方言微调:Najdi与Hijazi测试WER降至29.96%

资讯 2026-10-6 12:02 12828人浏览 0人回复
原作者: Imane Khaouja、Amine El Khair、Meshari Alaeena、Zahra Al-Kaf、Abdulrahman Alkhamees(NVIDIA) 来自: NVIDIA Technical Blog 收藏 邀请
摘要

NVIDIA于2026年9月30日展示Nemotron 3.5 ASR的沙特Najdi/Hijazi方言微调流程:133.7小时语音让目标测试集WER从55.05%降至29.96%,解码优化可进一步降至27.25%,但会增加延迟,结果仍受特定数据和部署条件限制。 ...

事件概述:NVIDIA 技术博客于 2026 年 9 月 30 日发布教程,展示如何用 NVIDIA Nemotron 3.5 ASR 和 NeMo 框架适配沙特阿拉伯 Najdi、Hijazi 方言。官方指出,多语言模型即使支持阿拉伯语,在地方方言和真实录音条件下仍可能明显失准,因此需要针对部署方言进行微调。

对象与开发者:对象是支持 40 个语言区域流式转写的 NVIDIA Nemotron 3.5 ASR;教程作者为 NVIDIA 的 Imane Khaouja、Amine El Khair、Meshari Alaeena、Zahra Al-Kaf 和 Abdulrahman Alkhamees。

官方发布日期:NVIDIA Technical Blog 标注发布于 2026 年 9 月 30 日。

关键能力与改动:流程先对 SADA 2022 语音数据做轻量清洗,再用 FLEURS 英语和阿拉伯语数据进行加权回放,配合按时长分桶和部分编码器解冻,以减少灾难性遗忘。133.7 小时 Najdi 与 Hijazi 语音微调后,目标测试集 WER 从 55.05% 降至 29.96%,CER 从 31.63% 降至 12.18%;FLEURS 英语 WER 从 11.04% 变为 10.42%,阿拉伯语 WER 从 12.67% 变为 11.41%。在不重新训练的情况下,13 帧前瞻上下文配合 MALSD beam-8,将目标测试集 WER 再降到 27.25%,代价是约 800 毫秒额外延迟。文章还介绍了 Nemotron 3 Diarization,可把最多 8 名说话人的边界与 ASR 时间戳对齐。

适用对象:需要阿拉伯地区呼叫中心、会议、媒体或政企场景进行方言转写的团队,以及拥有标注语音、希望在保留原有多语言能力的同时适配本地口音的 ASR 开发者。

实际影响与限制:这套方法说明低资源方言适配可以通过目标数据、回放混合和解冻深度取得明显收益,且解码设置可在不重训时换取准确率。但结果来自特定 SADA 数据、两张 RTX PRO 6000 Blackwell 工作站 GPU 和独立评测配置,不能直接推广到所有阿拉伯方言或录音环境;部分解冻减少算力却可能牺牲准确率,扩大前瞻上下文会增加实时延迟,beam 搜索收益也依赖解码器配置。团队仍需使用自有数据、词汇和延迟目标复测。

官方来源:https://developer.nvidia.com/blog/fine-tuning-nvidia-nemotron-for-saudi-arabic-dialects-with-a-path-to-other-languages/

7*24新情报
技术文章
推荐课程
返回顶部