返回顶部
7*24新情报

CosyVoice 2语音大模型开源:零样本克隆+情感控制,延迟低于200ms

[复制链接]
yhccdh 显示全部楼层 发表于 昨天 21:01 |阅读模式 打印 上一主题 下一主题
兄弟们,阿里通义实验室的CosyVoice 2今天正式开源了,直接给语音合成圈来了个重磅炸弹。相比于上一代,这次核心升级在于引入了“语音感知流”机制,简单说就是模型能实时感知当前合成语音的上下文,再决定下一个音节的基频和时长,自然度直接拉满。

技术细节上,CosyVoice 2基于LLM框架,把文本、音色、情感编码成统一的token序列。实测零样本克隆只需3秒音频,音色相似度能到90%以上(MOS评分4.5+)。最骚的是支持情感控制——你给段“生气”的参考音频,它能精准复现愤怒语气,而不仅仅是改变语速。

延迟方面,流式推理优化后首包延迟仅200ms,几乎感觉不到等待。模型权重30亿参数,单张A100就能跑,对个人开发者相当友好。目前Hugging Face和ModelScope都能下载,建议搭配官方推理脚本上手,别自己瞎调采样率(24kHz是标准)。想玩实时对话AI的,这波可以冲了。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·智能体自动化市场· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2026 闲社网·AI智能体论坛·AI自动化解决方案·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表