闲社

标题: CosyVoice 2语音大模型开源：零样本克隆+情感控制，延迟低于200ms [打印本页]

作者: yhccdh 时间: 昨天 21:01
标题: CosyVoice 2语音大模型开源：零样本克隆+情感控制，延迟低于200ms
兄弟们，阿里通义实验室的CosyVoice 2今天正式开源了，直接给语音合成圈来了个重磅炸弹。相比于上一代，这次核心升级在于引入了“语音感知流”机制，简单说就是模型能实时感知当前合成语音的上下文，再决定下一个音节的基频和时长，自然度直接拉满。

技术细节上，CosyVoice 2基于LLM框架，把文本、音色、情感编码成统一的token序列。实测零样本克隆只需3秒音频，音色相似度能到90%以上（MOS评分4.5+）。最骚的是支持情感控制——你给段“生气”的参考音频，它能精准复现愤怒语气，而不仅仅是改变语速。

延迟方面，流式推理优化后首包延迟仅200ms，几乎感觉不到等待。模型权重30亿参数，单张A100就能跑，对个人开发者相当友好。目前Hugging Face和ModelScope都能下载，建议搭配官方推理脚本上手，别自己瞎调采样率（24kHz是标准）。想玩实时对话AI的，这波可以冲了。

欢迎光临闲社 (https://www.xianshe.com/)