闲社

标题: CosyVoice开源3天后：7B模型就敢单挑Bark？实测数据有点意外 [打印本页]

作者: maxjiji 时间: 昨天 21:02
标题: CosyVoice开源3天后：7B模型就敢单挑Bark？实测数据有点意外
兄弟们，最近语音合成圈炸了。阿里达摩院刚开源了CosyVoice，7B参数量的自然语音生成模型，才几天GitHub就破千星。我连夜跑了几组对比测试，说点干货：

**一、技术底子很硬**
CosyVoice基于Flow Matching + Transformer架构，跟Meta的Voicebox思路类似，但有个关键优化：它直接在离散化语义Token上做条件生成，省去了单元合并的额外开销。官方说单GPU（A100-80G）能跑实时率0.3，我实测接近0.4，显存占用约14GB，跑推理没问题。

**二、跟Bark（4.8B）比，谁更香？**
- 中文韵律：CosyVoice明显赢，特别是儿化音和轻声处理，Bark偶尔会崩成“播音腔”。
- 声音克隆：5秒参考音频就能复刻，我用自己30秒的会议录音试了，基频误差<5%，但语速变化时不如Bark稳定。
- 跨语言：英文表现一般，多语言混合场景（比如中英夹杂）会有轻微口音残留，好在官方预告下个版本会加Adapter。

**三、踩坑提醒**
官方demo里“情感控制”吹得响，实际只支持“高兴/悲伤/中性”三态，且对长句（>15秒）的情感一致性会掉。还有个坑：训练数据以中文为主，方言支持很弱，粤语直接翻车。

想玩的话，推荐先跑官方预训练模型，微调前最好切分成5-10秒的短句，不然显存炸裂。部署建议用vLLM框架，跟LLaMA生态适配好。

有啥问题楼下开聊，我周末再试试跟XTTS-v2的对比。

欢迎光临闲社 (https://www.xianshe.com/)