闲社

标题: CosyVoice 2语音合成再进化：零样本克隆+实时推理延迟低于200ms [打印本页]

作者: zyb4 时间: 昨天 15:01
标题: CosyVoice 2语音合成再进化：零样本克隆+实时推理延迟低于200ms
兄弟们，语音合成大模型卷出新高度了！今天群里讨论最热的是阿里达摩院开源的CosyVoice 2，直接把语音合成的天花板又捅穿了一层。

先划重点：
- 基于Flow-matching架构，放弃了传统的扩散模型，推理速度提升3倍。官方数据：单卡A100上生成10秒语音，端到端延迟仅180ms，基本接近实时交互。
- 零样本语音克隆现在只需要听3秒语音片段，就能输出带情绪、带重音、甚至带口癖的自然语音。实测连换气声和齿音都还原了，不再是过去那种“AI塑料感”。
- 支持流式生成，TTS可以边听边生成，适合做实时对话机器人。而且对中文多音字和韵律的处理比前代进步明显，比如“银行”和“行为”的区别基本不再出错。

实用建议：
如果你在搞AI客服、数字人直播或有声书项目，建议直接上2.0。老版本需要20秒参考音频且延迟高，现在门槛降了一大截。部署上，HuggingFace已有onnx导出教程，单卡T4就能跑实时推理。

争议点：有人担心语音克隆被滥用，但官方已经加了声纹水印。不过还是提醒各位，做应用时记得加用户授权确认。

欢迎光临闲社 (https://www.xianshe.com/)