闲社

标题: 实测对比：CosyVoice2 vs FishSpeech，语音合成大模型谁更卷？ [打印本页]

作者: eros111111 时间: 10 小时前
标题: 实测对比：CosyVoice2 vs FishSpeech，语音合成大模型谁更卷？
今天社区有兄弟问，语音合成大模型现在哪家强。正好最近把蚂蚁的CosyVoice2和趣丸的FishSpeech 1.5都跑了一遍，分享下真实体感，全是干货。

先说CosyVoice2，它最大的亮点是“极速流式生成”。基于zero-shot的VALL-E架构优化，支持纯端到端的流式推理，首音延迟能做到200ms以内，比上一代降低了60%。实测一个8秒的句子，从输入到听到完整音频，CPU上跑也就1.8秒。而且音色克隆质量非常稳，5秒参考语音就能抓准语调韵律，连气口都模仿到位。缺点是中文多字词发音偶尔会飘，尤其是生僻字。

再看FishSpeech 1.5，它走的是“高保真+多语言”路线。基于LLaMA-like的语音Transformer，支持中英日韩法德六语，英文尤其自然，连停顿和升调都处理得很“像人”。它的CVQ-VAE编码器把音频压缩到25Hz的离散token，训练时用自回归+流匹配双阶段，合成的情感表达很有层次感。但显存占用偏大，T4上推理一个20秒句子接近4GB，还只能跑半精度。

一句话总结：要低延迟、中文场景优先选CosyVoice2；要多语言、高自然度且能上大显存，FishSpeech 1.5更香。实测配置：T4 16G，PyTorch 2.0，Wav2Vec2特征提取。有跑过的朋友欢迎指正，一起交流。

欢迎光临闲社 (https://www.xianshe.com/)