YuE2：符号规划与音频统一的音乐生成模型

核心能力与快速开始

★ 8297 · Python

能做什么

统一符号与音频的音乐生成：输入歌词与风格提示，通过 AR–NAR Mixture-of-Transformers 主干预测乐谱与语义 token，再用流匹配生成声学 latent，最终由 VAE 解码为 48 kHz 立体声音频，输出不做量化。支持三种模式：cot="full" 生成可编辑的旋律与和弦计划、cot="melody" 使用旋律计划加自由伴奏（推荐翻唱）、cot="off" 直接从歌词与风格生成；也可通过 abc 参数自带乐谱。提供分阶段 Python API：plan() → generate_semantic() → synthesize() → decode()，输出目录保留乐谱、语义 token、声学 latent、生成设置与模型标识。支持零样本翻唱（配合 SheetSage2 转录源录音，使用 cot="melody" 且乐谱不含和弦符号）以及基于乐谱的编辑与智能体对话式编辑（附 yue2-music skill）。项目同时包含 MERT2 音乐理解模型（15 项 MARBLE 指标中 14 项 SOTA，GTZAN 流派准确率 91.72%）与 SheetSage2 音频转乐谱模型（13 项基准指标中 10 项 SOTA，RWC-Pop 人声旋律音级 F1 82.51%）。

适用场景

可用于根据歌词与风格提示创作完整歌曲；将已有录音转录为乐谱后做零样本风格翻唱；导出乐谱计划后人工或由智能体修改和声、旋律、速度、曲式再重新渲染；借助附带的 yue2-music skill 让支持 SKILL.md 的智能体执行生成、转录、翻唱、乐谱编辑与试听对比等任务；也可用 WildSongBench 复现其报告中的评测结果。

项目形态

模型

部署方式

README 给出的快速开始为 Linux 环境、Python 3.12、支持 BF16 的 NVIDIA GPU 且 24 GB VRAM；模型文件首次使用时从 Hugging Face 下载，示例命令会克隆仓库、创建虚拟环境并执行 pip install .。未说明其他部署方式。

主要依赖

Linux、Python 3.12、支持 BF16 的 NVIDIA GPU（24 GB VRAM）；SheetSage2 需在独立环境中运行并自动加载 MERT2 编码器；具体依赖与完整硬件要求以仓库文档为准。

使用限制

模型权重单独采用 CC BY-NC 4.0 许可，第一方代码、agent skill 与文档采用 Apache 2.0，第三方组件保留各自原许可，商用需自行确认；编辑操作会生成新的完整录音，不会保留编辑点之外的原波形；基准表中最高均值之间的小差距不足以证明统计显著性，排名随指标变化；文档提到 YuE2 技术报告尚未发布。

许可证

Apache-2.0

最近推送

2026-09-14 18:31

资料检查：2026-09-15 07:00 · 卡片整理：2026-09-28 07:00
卡片由 AI 根据仓库资料整理，未进行安装或运行验证 · 本次更新未完成，保留上次成功内容