AI编舞

北大 AtomicDance:让AI先学会编舞再跳舞,ECCV 2026论文+代码开源

2026年8月6日0 次阅读
北大 AtomicDance:让AI先学会"编舞"再"跳舞",ECCV 2026 论文+代码开源

北大 AtomicDance:让AI先学会"编舞"再"跳舞",ECCV 2026 论文+代码开源

现有AI舞蹈生成模型大多采用端到端方式,输入音乐直接逐帧输出人体姿态。虽然能生成看起来还行的动作,但仔细看就会发现:长舞蹈缺乏整体结构,动作反复却缺少变化,而且你完全不知道AI为什么选择了某个动作,更没法编辑它。

北京大学王选计算机研究所团队在 ECCV 2026 上发表的论文 Music-to-Dance Generation via Atomic Movements(AtomicDance),换了一个思路:让AI先学会"编舞",再学会"跳舞"。

现有方法的根本问题

端到端方法把舞蹈当成连续信号来生成,忽略了舞蹈的"组合性"。但真实舞蹈不是这样——无论是街舞、爵士还是现代舞,一支完整的舞蹈都由若干有明确含义的基础动作反复组合而成。某个挥臂动作会随节拍多次出现,某个转身会不断变化速度和方向。现有方法看不到这层结构,所以生成的舞蹈"形似而神不似"。

核心创新:原子动作(Atomic Movement)

团队提出了"原子动作"的概念,作为舞蹈的基本组成单元。一个合格的原子动作要满足三个条件:

  1. 是完整的动作过程,不是单帧姿态。一个踢腿包含准备、发力、收腿全过程。
  2. 可以重复但每次有变化。同一个动作随音乐改变速度、方向、幅度。
  3. 有明确语义。每个动作都能用自然语言描述,比如"举起右手""双臂展开""身体旋转"。

为了自动从现有舞蹈数据中发现这些原子动作,团队设计了三步流程:先把连续舞蹈分割成完整动作片段,再通过运动特征聚类发现重复出现的基础模式,最后用大语言模型分析每个聚类内部的细粒度语义,给原子动作赋予可解释的自然语言标签。

两阶段框架:先规划,再跳舞

基于原子动作词表,团队提出了模拟真实编舞流程的两阶段生成框架:

第一阶段——动作规划:模型先完整理解整段音乐,然后预测各个原子动作的位置、种类和时长,生成一份类似"舞蹈乐谱"的高层编舞方案。

第二阶段——舞蹈补全:根据规划结果,从对应原子动作中选择动作原型,用扩散模型生成动作之间的自然衔接,同时对重复动作做适当变化,让整段舞蹈既有整体结构又有丰富表现力。

这就像现实中的创作过程:编舞者负责规划动作结构,舞者负责完成具体表演。因为有了明确的符号化规划,用户还可以直接替换某个原子动作,实现真正意义上的可编辑生成——这在之前的端到端方法中几乎不可能。

实验表现

在 AIST++ 数据集上,AtomicDance 在舞蹈真实性(FID)、节奏一致性(Beat Alignment Score)和结构一致性(R-precision)等多个指标上均优于当前主流方法。更重要的是,它生成的舞蹈具有可解释的结构和可编辑性,这是传统方法无法提供的。

谁能用、怎么用

  • 编舞创作者:用AI辅助生成结构化编舞方案,可编辑可调整,而非只能"全盘接受或重来"
  • 数字人/虚拟偶像:生成有结构、有逻辑的舞蹈动作序列,而非随机拼接
  • 动画制作:获得可解释、可编辑的动作序列,方便后期调整
  • 研究者:代码和模型已全部开源,可直接复现和扩展

论文已被 ECCV 2026 正式接收。项目主页:https://cxhcmhhh.github.io/AtomicDanceProject/ ,代码仓库:https://github.com/oceanflowlab/AtomicDance ,论文链接:https://arxiv.org/abs/2607.13978 。

*基于多家媒体转述整理,核心信息来自论文原文及项目主页。*

参考来源

评论

0 条已公开
登录注册后可以参与评论。

正在加载评论...