模型详情
模型介绍
中文整理YuE2-3B
前沿音乐生成模型,支持可编辑乐谱
Model use case
YuE2是一款开源音乐生成模型,歌曲质量达到前沿水平,可与Suno v5/v6竞争。该模型将歌词和风格提示转化为完整的歌曲(包含人声和伴奏),并可通过可编辑乐谱来调整旋律与和弦。
主要能力
文本转音乐:根据歌词和风格提示生成完整歌曲
翻唱:可将现有歌曲重新编排为新风格
智能编辑:可将音乐反馈转化为乐谱,进行风格和歌词修改后由YuE2渲染新版本
多种生成模式:旋律加和弦、仅旋律、直接生成
支持自定义ABC乐谱
AR-NAR混合Transformer架构编写乐谱和语义标记,通过流匹配生成声学潜变量,VAE将其转换为立体声音频
输入输出
输入:歌词、风格提示、可选的ABC乐谱
输出:48kHz立体声音频,包含人声和伴奏
运行要求
Linux系统
Python 3.10+
24GB显存NVIDIA GPU,支持BF16
24GB可用主机内存
测试中最大上下文峰值显存为14.08 GiB
基本用法
加载管道后,可进行以下操作:
创建:使用风格提示和歌词生成完整歌曲
翻唱:从现有录音出发,赋予新的编曲风格
编辑:自行编辑ABC乐谱,或提供乐谱、原始提示和歌词,由智能体处理修改请求后由YuE2渲染每个修订版本
许可证
模型权重:CC BY-NC 4.0
第三方代码:遵循各自许可证
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。