返回顶部
7*24新情报

Seed-TTS再进化?字节跳动语音大模型支持情感控制与角色一致性

[复制链接]
falcon1403 显示全部楼层 发表于 昨天 09:01 |阅读模式 打印 上一主题 下一主题
兄弟们,今天聊聊语音合成大模型的新动向。字节跳动刚刚更新的Seed-TTS技术报告,亮点很明确:不再是简单的“文本转语音”,而是往“情感可控”和“角色一致性”上猛攻。

先说技术细节。这次Seed-TTS在架构上采用了自回归+扩散模型的混合方案。自回归部分负责生成粗粒度的语义token,扩散模型负责细粒度的声学特征(如音色、韵律)。关键突破在于引入了“情感embedding”模块,能通过文本指令(如“用愤怒的语气说出这句话”)或参考音频,精准控制语速、停顿、甚至气声比例。实测数据,在MOS(平均意见得分)上,带情感控制的合成语音从4.2提升到了4.5以上,几乎接近人类水平。

更实用的是“角色一致性”功能。如果你需要让同一语音模型为小说里的多个角色配音,只需为每个角色提供5秒的参考音频,模型就能在长文本生成中稳定保持各自的音色和说话风格,不会串角色。这比之前需要大量微调的方法高效得多。

对开发者来说,这意味着你可以用更少的数据,快速搭建一个有“情绪”的AI语音助手,或者做有声书的多角色演绎。目前该技术已在火山引擎开放部分接口,支持RTF(实时率)低于0.3,延迟可控。建议搞语音应用的兄弟去试一轮,尤其是情感控制那块,效果确实能打。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·智能体自动化市场· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2026 闲社网·AI智能体论坛·AI自动化解决方案·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表