先排舞,再生成动作:NTT 把「编舞结构」做成了中间稿,但这次只公开了摘要
11 月 15 日,ACM 数字图书馆上线了一篇新论文:《Virtual Choreographer: Music-to-Choreography-to-Motion Dance Generation》。作者四人全部来自 NTT 人类信息研究所(横须贺),收录在 HAI '26(第 14 届 Human-Agent Interaction 国际会议)论文集第 285–293 页,会议 11 月 16–19 日在大阪立命馆大学举行,这篇排在 11 月 18 日下午 15:00–16:00 的 Oral Session 7「Creative Arts」做口头报告。
它要解决的问题,和大多数「音乐生成舞蹈」的模型不太一样。主流做法是:给一段音乐,模型直接吐出骨骼动作序列。这篇认为,真实编舞里有一层东西被跳过了——先决定这段表演要出现哪几类动作、怎么安排顺序,再去想每个动作具体怎么做。前者是编排(choreography),后者是动作(motion)。论文把前者做成一个显式的中间表示,让模型先「排舞」,再按排好的结构去生成动作。
3分钟看懂
一句话先说结论:它把「AI 编舞」从「跟着音乐抖」推进到「先写一份舞谱,再照着舞谱跳」,而这份舞谱是模型从音乐里自己推出来的,不是人填的。
三件事值得记住:
- 多了一层中间稿:整条链路是 音乐 → 编排结构 → 动作。中间这层被单独建模,可以看、可以改、可以讨论。
- 增量很明确:同一课题组 2025 年在 FG 会议上发过 CDCGM,是让创作者手动指定每个时间步跳哪类动作;这篇把「指定」换成了「从音乐预测」。所以它卖的不是更强的动作生成,而是「自动排舞」。
- 公开信息非常少:ACM 摘要页只有一段摘要,没有给任何量化数字(没有 KID、没有用户实验人数、没有推理耗时),全文页面对普通抓取是 403/CAPTCHA,也没有代码、权重或演示视频。要等 11-18 的口头报告或作者后续放材料。
它到底把什么拆开了
按摘要的表述,框架分两个部件:
第一个是 Dance Composition Predictor(编排预测器)。 输入是音乐,输出是这段表演的「编排结构」——可以理解成一张时间轴:第几秒到第几秒,该出现哪一类动作。注意它预测的不是具体姿势,是「动作类型 + 时间位置」这种粗粒度的安排。
第二个是 composition-aware dance generator(感知编排的动作生成器)。 它同时吃两样东西:音乐,和上一步预测出来的编排结构,然后生成逐帧的三维动作。
这个设计的价值在于「条件的可解释性」。传统的音乐到动作模型,中间没有任何人能读懂的东西,生成结果不满意只能改提示、换种子、重训。而这里,如果某一段出来的动作不对,理论上可以指着「第 12 秒被预测成了旋转类动作」说这里错了——虽然摘要没有说明这套结构在人机交互上怎么呈现,但从它能被单独拿出来预测这一点看,它是可以被单独干预的。
论文把这种角色叫作「virtual choreographer(虚拟编舞师)」:先规划,再落地,落地的部分再交给动作生成器。
和前作比,到底新在哪
这条研究线不是突然冒出来的,把同组的三篇排在一起看,增量就很清楚:
- CDCGM(FG 2025,DOI 10.1109/fg61629.2025.11099188):让创作者在生成时逐步指定「这一拍要跳哪类动作」。为了做这件事,他们自建了一套含「代表性动作类型」时间序列标注的 breakdance 动捕语料。摘要里明确写了当时的问题:已有模型「无法指定要生成什么动作,结果是随机动作」。
- Instant 3DCG Dance Generation System(FG 2025,DOI 10.1109/fg61629.2025.11099390):把上面这套能力做成带 GUI 的即时预览系统,选音乐 + 选编排,立刻出多段 3DCG 舞蹈预览。这是面向创作者的工程化。
- SDCGM(Journal of Information Processing 34 卷,2026 年 1 月):在音乐之外再加一个条件——舞者个人风格,底座是 transformer 的条件扩散模型,评测显示自然度和风格贴合度优于当时的 SOTA。
到这一篇,链条闭合了:风格有了、编排能指定了、界面也有了,缺的是「编排这一层还得人来填」。这篇补的就是这一格——从音乐自动预测编排。所以论文的对比基线里会出现「music-only generation」(只给音乐,不给编排),因为那是它最直接的对手。
从 ACM 页面的参考文献还能看出它站在哪些肩膀上:ChoreoMaster(2021)、Google 的 AI Choreographer + AIST++(2021)、FineDance(2023)、Bailando(2022)、EDGE(2023)、Lodge / Lodge++(2024)、ChoreoGraph(2022),以及 TEMOS、MotionDiffuse 这类通用动作生成。换句话说,它没有重新造动作生成器,重点全在「中间那层结构」。
它在什么数据上验的
摘要只写了一句:实验在breakdance 动作捕捉数据集上做。
这里要谨慎:该组在 CDCGM 里正好自建过一套带动作类型标注的 breakdance 语料,本篇很可能用的是同一套(否则「动作类型」这个标签无从谈起)。但摘要没有点名,正文也没公开——这一点属于合理推断,不是论文原话。
结果方面,摘要给的是一句话结论,没有表格:
- 客观评测:编排预测的质量、以及动作生成的质量,都比对照方法有提升;
- 主观评测:与「只用音乐生成」相比,被试感知到的编排质量更高,把它当作编舞提案的可用性也显著更高。
具体提升多少、被试多少人、用什么量表,摘要一个字都没给。
为什么这对编舞这件事有意义
编舞是个协作活儿。一个作品从想法到上台,中间要经过大量「说清楚」的环节:这段要什么感觉、这里是不是该换队形、副歌要不要复现主歌的动作。这些讨论靠的是语言和记号,不是 60 秒视频。
过去两年 AI 跳舞的进展,大多发生在「动作质量」这条轴上——动作更自然、更长、更不滑步(站内写过的 FlashMotion、PartLock、AHEADance 都属于这条线)。但「编排」这条轴一直很薄:模型能给你一段跳得挺像的舞,却没法告诉你「它为什么这么安排」。
把编排单独建模,至少带来三个实际好处:
- 可讨论:编舞师可以指着结构说「第三段不该是地板动作」,而不是对着成品说「感觉不对」。
- 可复用:一套编排结构可以换不同风格的动作去填充(这正是 SDCGM 那条线在做的),反过来也成立。
- 可评估:编舞好不好,终于有了一个独立于「动作自不自然」的评价对象。论文的主观评测问的就是「作为编舞提案是否可用」,这个问法本身比 FID 更贴近创作者。
但这次能拿到的东西确实很少
必须说清楚,这篇目前是「摘要级公开」:
- 没有数字。没有 KID/FID,没有用户实验的样本量,没有推理速度,没有模型参数量。
- 没有全文。ACM 页面本机抓取返回 403 / Cloudflare 验证,PDF 取不到;会议官方 program 只列了标题、作者、会场和时段。
- 没有代码和权重。GitHub 上搜同名仓库,只有 2019 年和 2021 年的无关项目。
- 没有演示视频。至少目前公开页面里没有链接。
所以这篇现在能支撑的结论是「思路和定位」,不能支撑「效果有多好」。任何写成「实测 XX 分」的稿子,在这个时间点都是编的。
怎么用
现阶段分三种人:
- 想马上做东西的:这篇帮不上忙,去看能跑的开源基线。音乐到动作这条线,EDGE(可编辑舞蹈生成)、Bailando、FineDance 系列都有公开实现;人形机器人侧,站内写过的 FlashMotion(4 步采样、代码权重全放)和 PartLock-CMU(实时文生动作)更实用。
- 做编舞工具的:值得抄的是产品结构,不是模型。把「编排」和「动作」拆成两步、给用户一个可编辑的中间层,这个交互范式已经被同组连做三年(CDCGM 指定 → 即时预览 GUI → 自动预测),说明它在创作者侧是站得住的。
- 做研究的:11 月 18 日 15:00–16:00 JST 的口头报告是最近的窗口;也可以直接读它的参考文献,那 19 条基本就是「音乐驱动编舞」这条线的完整地图。
适用场景
- 舞蹈/表演的前期构思:先让模型给一版「编排方案」,人再决定要不要照这个方向走
- 编舞教学:把一段成品的结构拆出来讲——哪里换了动作类型、哪里的节奏型重复了
- 群舞/舞台预演:编排结构是可以直接对应到队形和段落调度的,比逐帧动作更好沟通
- 研究复现与方法对比:想在自己的语料上验证「结构中间层」是否真的有用
不适用场景
- 要立刻能跑的工具:没有代码、没有权重、没有 API,连演示视频都没有
- 需要量化对比的选型:摘要没有数字,无法和 Bailando/EDGE 这类有公开指标的方法横向比较
- 非 breakdance 舞种:实验只在 breakdance 语料上做,芭蕾、现代舞、K-pop 编舞都没有验证
- 要「动作质量最强」的场景:它的卖点是编排结构,不是动作自然度;动作生成器本身沿用既有路线
- 商业授权不明确:ACM 论文本身可读,但没有任何迹象表明模型会开放
避坑
- 别把它写成「NTT 发布 AI 编舞产品」。这是会议论文,作者单位是研究所,不是产品线。同组确实有把技术做成 GUI 系统的传统,但那是另一篇(FG 2025 的即时预览系统)。
- 别把「编排结构」理解成分镜或队形图。摘要说的是「动作类型随时间的位置安排」,属于动作语义层,不是镜头语言,也不是舞台调度。
- 别引用不存在的指标。目前任何「提升了 XX%」的说法都无源。写稿时如果看到二手站给了具体数字,先回 ACM 页面核。
- 注意会议时间:论文 11-15 上线,口头报告在 11-18。作者在会上可能会补充细节,届时口径可能变化。
- breakdance 语料是这组的自有资产,外部拿不到同一套标注,复现的对比结果不会对齐。
- 别把三篇前作混成一篇。CDCGM 是「人指定编排」、SDCGM 是「加舞者风格」、这篇是「自动预测编排」。写混了会把「让人来指定」这个已经被解决的问题,错记成这篇的贡献。
成本和时间
- 读摘要:5 分钟,ACM 页面免费可见,已经能判断方向对不对。
- 等全文:等作者放预印本,或等会议后 ACM 开放全文(本篇是 hybrid OA,理论上出版社页面就是唯一 OA 位置)。
- 自己实现一版:真正的成本在数据。要做「编排结构」这一层,得先有带动作类型标注的舞蹈语料——CDCGM 那套是自建的,你得自己标。粗估:几百段短片段 + 逐段时间标注,人工标注是周级的活。
- 跟会:HAI 2026 注册信息在会议官网,口头报告 11-18 15:00 JST(北京时间 14:00)。
行动建议
第一步:把 ACM 摘要页存下来(DOI 10.1145/3841580.3841618),重点看它把「choreography structure」定义成什么——这是全篇唯一的新概念,其余都是既有动作生成技术。
第二步:如果你在做编舞工具,先别急着复现模型,把「编排层」当成产品功能设计一遍:用户看到的中间稿长什么样、能改哪几个维度、改完怎么回填到动作生成。这一步不需要模型也能做。
第三步:11 月 18 日之后回来看有没有预印本或项目页。这个组前作都有正式发表渠道,全文大概率会出,只是不在今天。
参考来源
- ACM 论文页(Published: 15 November 2026):https://dl.acm.org/doi/10.1145/3841580.3841618
- HAI 2026 官方 program(ID 1273,11-18 Oral Session 7):https://hai-conference.net/hai2026/program/
- HAI 2026 会议官网(11 月 16–19 日,大阪):https://hai-conference.net/hai2026/
- 前作 CDCGM(FG 2025):https://doi.org/10.1109/fg61629.2025.11099188
- 前作 SDCGM(Journal of Information Processing 34 卷):https://doi.org/10.2197/ipsjjip.34.2