改一个舞蹈动作,以前等于重做一遍:Möbius 把去噪搬进语言模型,一个模型包办生成、补帧和改动作
一句话说清:以前让 AI 改一个舞蹈动作,等于让它重做一遍;香港科技大学、腾讯游戏 Motus 和 MIT 的团队 11 月 3 日挂出的论文 Möbius,把"改动作"变成了"改一句话"——因为它把扩散去噪整个搬进了语言模型内部,动作从头到尾没离开过文字所在的那套表示空间。
这不是又一个"一张照片跳科目三"的工具。它是一篇基础模型论文,但它解决的是编舞这件事里最耗人的那一段:改。
3分钟看懂
- 谁做的:香港科技大学 + 腾讯游戏 Motus + MIT,共 10 位作者
- 什么时候:2026 年 11 月 3 日挂上 arXiv(2611.05279)
- 做了什么:把一个语言模型(Qwen3)改造成"既能看懂动作、又能生成动作"的统一模型,关键是把扩散去噪直接搬进语言模型内部,不再外挂一个独立的生成模块
- 能干什么:一句话生成动作、给半段动作补全、按指令只改某个部位、把动作翻译成文字描述,四件事同一个模型
- 成绩:HumanML3D 上 0.6B 版 R@1 0.8209、FID 6.13(同组前一名 MotionGPT3 是 0.6709 / 20.99)
- 现在能用吗:不能。代码标注"内部审核中",没有权重、没有 license
先说清楚这是什么
论文标题是《Möbius: A Unified Motion-Language Model Bridging Understanding and Generation》,arXiv 编号 2611.05279,2026 年 11 月 3 日 17:59 UTC 提交第一版。作者共 10 人,第一作者 Jiazhi Shu、共同一作 Chengfeng Zhao,项目负责人 Jinyi Wang,通讯作者 Zijiao Zeng 和 Yuan Liu。单位三个:香港科技大学、腾讯游戏旗下的 Motus、MIT。
它要做的是一件"统一"的事:让一个模型既看得懂动作(给一段动作,说出它在干什么),又能生成动作(给一句话,做出对应动作),还能补动作(给前后两段,补中间)、改动作(给一段动作加一句话指令,只改该改的地方)。
这四件事以前基本是四个模型。业界的常规做法是"语言模型管理解、另一个扩散模型管生成",中间靠一层学出来的动作潜变量对接。Möbius 的做法是把这套接口拆掉。
它到底换掉了什么
理解这一步不难想象:把动作喂进一个语言模型,让它用文字描述。难的是生成——扩散模型那一套"从噪声一步步去噪"的流程,通常跑在独立的模块里,语言模型只能给它一个条件向量,之后就说不上话了。
Möbius 干的事是:让带噪的动作和干净的动作、文字一起进入同一套注意力。三者共享注意力,但走不同的参数通道——干净的走理解那条,带噪的走生成那条,中间靠角色特定的投影层分流。论文里把这套路由叫 MoT。这样在去噪的每一步,带噪动作都能同时"看见"文字语义和已有的干净动作,而不是只看见一个被压扁的条件向量。
还有一个更硬的选择:它不做动作分词。多数语言模型路线的动作模型会先把连续动作离散成一串 token(像文字一样),或者先训一个动作 VAE 把动作压进潜空间。Möbius 两个都不用,直接在帧级原始动作特征上跑——用的是 HY201 表示,201 维,30 FPS,包含骨盆位移、根节点朝向(连续 6D)、全身局部旋转和相对关节位置。每一帧占一个 Transformer 位置。
代价是序列变长、算力变贵;好处是"去噪"和"理解"真正待在同一个空间里,改动作的时候不用来回编解码,也就少了一层信息损失。
训练也不是一把梭。团队用的是两阶段课程:先用 Qwen3 的权重初始化,配上动作投影层,只训"动作→文字"的描述任务,让模型先把动作语义学进语言空间;这一步稳了,再引入生成目标做 20 万步微调。论文里解释得很直白:一上来就联合训练,随机初始化的生成通路会通过共享注意力把梯度灌进理解参数,把预训练语言能力搞坏。
成绩单:哪些数字能信,哪些要留神
在 HumanML3D 这个动作生成的标准测试集上(用 MotionStreamer 的 MS-272 评测器,4,042 条测试样本):
- Möbius 0.6B(只训 HumanML3D):R@1 0.8209、R@2 0.9397、R@3 0.9670、FID 6.13
- 同组最强对手 MotionGPT3:R@1 0.6709、FID 20.99
- 大模型组里,Möbius 1.7B:R@1 0.7968、FID 10.66;对比 HY-Motion 1B 的 0.7899 / 13.52、Go to Zero 3B 的 0.7401 / 23.75
R@1 是"给一句话,生成的动作里有多少比例能被判别器认出是这句话描述的",越高越好;FID 是生成动作和真实动作分布的差距,越低越好。0.6B 版 FID 6.13 对 20.99,是这轮对比里差距最大的一项。
但有一个数字要小心:1.7B 版在同一张表上的 R@1(0.7968)比 0.6B 版(0.8209)还低。这不是"大模型更差",而是两版训练数据不同——0.6B 只吃 HumanML3D,1.7B 额外吃了 1700 小时内部动作语料,属于另一个对比组(表里分组标注了 "Trained on large-scale dataset")。跨组比数字没有意义,这也是论文自己划的线。
动作描述任务上,BLEU-4 从 MotionGPT3 的 0.1605 提到 0.2032(0.6B)和 0.2105(1.7B),BERT 分从 0.3425 提到 0.4541 / 0.4657。绝对水平离"人能读顺"还有距离,但方向是明确的。
速度方面,论文附录给了单卡实测:一段 5 秒(150 帧)的动作,用 50 步采样加 CFG 3.0,0.6B 版单条耗时约 4.99 秒、峰值显存约 2.0 GB;1.7B 版约 5.07 秒、5.9 GB。反过来"动作→文字"只要 0.32 秒。也就是说,生成一段 5 秒动作的时间大约等于它本身的长度——离实时编舞还差得远,但离"改一版看看效果"已经很近了。
怎么用:如果它放出来,工作流会是什么样
代码还没放,所以下面说的是"按论文里的能力,这条链路会长什么样",不是操作手册。
- 把角色骨架对上。模型的输出是 201 维的关节级动作特征(骨盆位移、根节点朝向、全身局部旋转、相对关节位置),要落到你自己的角色身上,得先做一次重定向。
- 定"不变量"。改动作时最怕它顺手把别的地方也改了。指令要写清楚改哪里、不动哪里,比如"只改第三拍的手臂高度,脚步保持"。
- 一段一段改,别整支改。论文验证的尺度是 5 秒 150 帧,先按这个粒度切,改完再接。
- 改完让模型自己描述一遍。Möbius 的理解和生成共用一个模型,把改完的动作喂回去让它说"这段在干什么",是成本最低的自动检查。
- 多轮,而不是一次到位。论文演示的流程就是生成→补全→编辑→描述循环,别指望一句话出终稿。
对做舞蹈的人,这意味着什么
把它翻译成编舞现场的语言:
现在的流程是,你想把第三拍那个转身改成半圈,得回到软件里找到那几帧、手动调关键帧、再检查穿模和重心,一个动作改半小时。指令式动作编辑要做的事,是你打一句"第三拍转身改成半圈,手不要抬那么高",模型只改该改的段落,其余部分原样保留。
论文在 MotionFix 这套"指令改动作"的基准上做了评测,也演示了多轮:先生成一段,再补全,再改,再让模型描述改完的结果——四件事在同一个模型里循环,不用换工具。
对编舞师真正有价值的地方不是"AI 帮你排舞",而是试错的成本。一支舞的编排过程本来就是在十几个版本里挑一个,改一版的成本越低,你敢试的方向就越多。
冷静的一面:现在还不能用
必须说清楚三件事,不然容易空欢喜:
- 代码没放出来。 GitHub 仓库
JiazhiShu/mobius-code建于 11 月 3 日 15:47 UTC,README 明写 "Code availability is currently under internal review",没有 Release、没有权重、没有 license。项目页只有预渲染的对比视频和交互查看器,点不开模型。 - 不是在舞蹈数据上训的。 评测基准是 HumanML3D 和 MotionFix,都是通用的"文本—动作"数据集,动作片段基本是 5 秒级,论文没有舞蹈数据集上的结果。它能不能撑住一整支 3 分钟的舞、能不能对上音乐节拍,这篇论文没有回答——音乐驱动的舞蹈生成是另一条线(站内 7 月写过的 Wan-Dancer 就是走那条路)。
- 5 秒是硬边界。 论文所有评测都裁到 150 帧。时序补全支持预测、回推、中间帧、关键帧插值四种模式,但都是在短片段尺度上验证的。长序列会漂移,这是所有自回归/扩散动作模型的共同难题,论文没有给出长序列结果。
适用场景
现在值得关注的人
- 做动画、游戏、虚拟人的团队:想给角色做"一句话改动作"的工具链,这是目前公开文献里路线最干净的一种
- 研究动作生成的人:它把"去噪进语言模型"这条路的可行性和代价都摊开了,包括两阶段训练这种工程细节
- 做编舞工具的产品团队:可以照着这个交互范式设计——生成、补全、编辑、描述在同一个会话里多轮进行
不适用场景
- 想今天就下载权重跑起来:没有权重,只能等
- 想让它跟着一首歌编一整支舞:不是这个模型的任务,也不在评测范围
- 想要电影级手指、面部细节:它的动作表示是全身关节级的,没有手指
- 想直接商用:没有 license,法律状态未定
注意事项(避坑)
- 别把"统一"理解成"什么都能干"。理解的准确率和生成的保真度是两个指标,论文里理解侧的 BERT 分 0.47(满分 1.0),还远谈不上可靠。
- 别跨组比数字。0.6B 和 1.7B 的表在同一张里,但训练数据不同,直接比 R@1 会得出"小模型更强"的错误结论。
- "实时"要看条件。5 秒动作 5 秒生成,是单卡 BF16 + EMA 权重、50 步采样的结果,不含渲染、不含重定向到具体角色骨架。
- 注意它和站内 9 月那篇 Open-UniMo 的区别。两者都做"理解 + 生成统一",但 Open-UniMo 走的是另一套表示与接口;Möbius 的关键差异是把去噪搬进共享空间、并坚持不做动作分词。不是同一件事的续集。
成本与时间
代码和权重都还没有时间表,论文只说"内部审核中"。按同类学术项目的节奏,从论文挂出到放权重通常是几周到几个月,也可能只放推理 demo。
如果之后真放出来,按论文给的数据估:0.6B 版单卡 2 GB 显存就能跑 5 秒动作生成,一张消费级显卡够用;1.7B 版约 6 GB。真正的成本不在算力,在数据和重定向——你要把自己的角色骨架对上去,还要有足够多的动作样本做微调,才能生成你想要的风格。
行动建议
- 先看项目页的对比视频(jiazhishu.github.io/mobius),重点看"编辑"那一栏:给定一段动作加一句指令,看它改的是不是你以为的那一处。这是判断这类模型有没有用的最快方式。
- 盯住那个 GitHub 仓库。放权重、放 license 都会先在 README 里改,比等媒体转述快。
- 如果你在做编舞工具,先把交互设计出来:多轮"生成→补全→改→描述"的会话式流程,比单次生成更接近真实创作。
- 别急着改工作流。现在能做的只有评估和设计,不能落地。
参考来源
- 论文(一手,2026-11-03 17:59 UTC 提交):https://arxiv.org/abs/2611.05279
- 论文 HTML 全文:https://arxiv.org/html/2611.05279v1
- 项目页(含对比视频与完整 benchmark 表):https://jiazhishu.github.io/mobius/
- 代码仓库(README 标注内部审核中):https://github.com/JiazhiShu/mobius-code
- 二手转述(仅作交叉参考,核心事实以上述一手来源为准):https://www.arxivdaily.com/papers/2611.05279