AI编舞

浙大和宇树把 500 万条「机器人真能跳」的动作数据放出来了:一套模型同时听懂文字、语音、音乐和视频

2026年11月19日2 次阅读Read in English
浙大和宇树把 500 万条「机器人真能跳」的动作数据放出来了:一套模型同时听懂文字、语音、音乐和视频

11 月 17 日,GitHub 上一个叫 Movens-Zero 的仓库连续两次提交,标题都叫「Update model release」。同一天凌晨,Hugging Face 上 Movens-Zero-XL 的权重文件被更新;11 月 19 日,仓库又推了一次推理脚本的更新。仓库里现在挂着四档预训练权重、一套完整训练代码、一个 8192 对的评测基准,以及一个叫 Movens-5M 的数据集入口。

这套东西背后的团队是浙江大学和宇树科技的具身智能联合实验室,另有 Bit Oasis、HiThink Research、微软亚洲研究院、华东师大、北大和新加坡国立的人参与。论文《Movens-Zero: Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos》是一份 86 页的技术报告,10 月 30 日就挂上了 arXiv。

所以时间线要说清楚:论文不是新的,这周新的是「东西真的能给外人用了」——代码、四档权重、数据集、benchmark 全部开放。以下事实以项目页、GitHub 仓库、Hugging Face 和论文摘要为准,媒体报道部分基于多家媒体转述整理(机器之心、RoboHot、AIGC.BAR 等均在 11 月 18 日对这一开源动作做了报道)。

3分钟看懂

一句话先说结论:它做的事不是「让机器人跳得更好看」,而是把互联网上的人类视频,变成机器人真的能执行的动作数据,然后用这批数据训出一个听懂四种输入的全身动作模型。

四个数字:

  • 500 万条经仿真执行验证的机器人动作(另有 1500 万条人体动作序列,是它的上游产物)
  • 1 万小时以上的行为数据,累计 1.08 亿帧以上
  • 297 种细分动作类型,覆盖 16 类场景
  • 4 种输入:文字、语音、音乐、RGB 视频

对跳舞这件事,最直接的证据在演示里:给它一句「Dance some hip-hop」,它直接出舞,不需要参考视频;给它一段音乐,它按节奏和强弱出步子和上半身动作;给它一段人跳舞的视频,它把那个人的动作搬到宇树 G1 身上执行。

这件事真正难的地方,不在模型

人形机器人要学动作,传统上有两条路,各有各的死穴。

第一条是动捕。 精确、干净、直接能用,但扩不起来。一个人一天能采多少分钟?一套动捕棚一天的成本是多少?想凑够「十万小时」这个量级,基本不可能。

第二条是拿互联网视频硬估。 视频要多少有多少,但从画面里估出来的三维动作会抖、会穿地、会重心飘、关节角度超限。人看着「差不多」,机器人照着做会直接摔。

Movens 的答案是:中间加一道执行验证。流程不是「估出人的动作就完事」,而是先把动作重定向到 G1 的骨架和关节限位上,再让仿真环境里的 G1 真的跑一遍——跑不稳的样本丢掉,跑得下来的才留下。这就是「executable(可执行)」这个词在标题里的意思。

这个筛法很贵,但它是这套数据能叫「预训练数据」而不是「又一个大杂烩动捕集」的原因。

五段流水线,怎么把视频变成燃料

项目页把数据引擎拆成五步,每一步都在解决一个具体的坏情况:

  1. 片段生成(Clip Generation):按镜头边界把长视频切开,保留来源信息。不切的话,一个镜头里换三次场景,标注和动作全都对不上。
  2. 质量筛选(Quality Filtering):查画质、查人是否清楚可见、查动作信息量够不够。糊的、远景小人、静止不动的,全部剔掉。
  3. 语义标注(Semantic Annotation):给片段补场景和动作说明,而且要按时间段分身体部位描述。这是它跟普通视频描述最大的区别——不是「一个人在擦门」,而是「0 到 4 秒俯身、左手拿布擦门板中下部、右臂弯曲放在身后;4 到 6 秒直起上身;6 到 7.25 秒双臂上抬伸向高处」。
  4. 动作恢复(Motion Recovery):从画面估人体三维姿态,记录身体随时间怎么动。
  5. 物理精修(Physical Refinement):修抖动、修失稳,按 G1 的身体结构调整,再在仿真里验证能不能稳定执行。项目页给了这道关的配置:6 项物理检查、4 套跟踪策略——同一段动作要被多套控制器都跑得住,才算过关。

跑完这五步,产出是两层:1500 万条人体动作序列,以及 500 万条通过验证的机器人动作序列。

模型:一个理解模块 + 一个「动作专家」

架构上没玩什么新花样,但组合方式值得说。

前面是 Qwen2.5-Omni-3B 做理解,把文字、语音、音乐、视频都编码到同一个语义空间里。后面接一个叫 action expert(动作专家) 的生成模块,用 flow matching 出动作。

关键设计是「任务混合训练」(task-mixed flow matching):不是给每种输入各训一个模型,而是把 7 个生成任务混在一起,让同一个动作专家同时学「文字→动作」「语音→动作」「音乐→动作」「视频→动作」这些映射。好处是跨模态互相借力——音乐里学到的节拍感,能帮到语音指令下的动作时机;视频里学到的空间结构,能帮到文字描述下的姿态合理性。

动作专家有四档,参数量差了一个数量级:

  • S:64.2M(3 层,宽 768)
  • M:187.9M(4 层,宽 1152)
  • L:500.1M(6 层,宽 1536)
  • XL:910.5M(7 层,宽 1920)

理解模块(Qwen 那部分)在四档里保持不变,只换动作专家的规模。这是他们做规模实验的前提——变量只有一个。

实时闭环:一次只出一小段,把尾巴接上去

人机交互里最尴尬的不是动作不好看,是你说完话它还在执行三秒前的指令。

Movens-Zero 用的是 chunk 式的做法,论文叫 Multimodal Real-Time Chunking:每次只生成一小段动作,机器人先执行开头那部分;没执行完的尾巴保留下来,作为下一段的起点,再结合最新的指令和机器人当前的姿态继续往后生成。

这样做有两个直接后果:

  • 指令可以中途改。演示里操作者现场换口令,机器人能接上,而不是等这一整套动作跑完。
  • 视频示范可以现场给。摄像头拍一段人做的动作,模型按最新画面和机器人状态持续生成后续动作。

这套机制是把「理解 → 生成 → 执行」串成一个闭环,而不是开环播放。真机部分是在宇树 G1 上跑的:GPU 推理服务器负责算,机身上跑全身控制器负责执行,客户端把机器人状态流回去。

把「多给数据有没有用」量化了

这类基础模型最容易被质疑的一点是:你说的 scaling,到底 scale 出了什么?

他们做了两组实验,数字都给得很实。

第一组:固定 XL 动作专家,把数据从 1% 加到 100%。 去重后的动作总时长从 122 小时涨到 12,231 小时。

  • 文字与动作匹配(R@3):12.72% → 62.57%
  • 视频输入的动作误差(MPJPE):132.82 毫米 → 40.90 毫米,降 69.2%(从 13.3 厘米缩到 4.1 厘米)
  • 语音指令匹配:13.98% → 74.30%
  • 音乐节拍对齐(BeatAlign):0.23 → 0.61
  • 运动跟踪得分:0.21 → 0.72

而且数据从 30% 加到 100% 那一段,曲线还没平:R@3 又涨了 20.77 个百分点,MPJPE 又降了 53.5%。这说明在 1.2 万小时这个量级上,他们还没吃到数据的天花板。

第二组:用全量数据,只换动作专家的大小。

  • 验证集流匹配损失(Val. FM Loss):0.487 → 0.159,降 67.4%
  • 运动跟踪得分:0.18 → 0.72

第三组更狠:看「大模型是不是更吃得下新数据」。 同样把数据从 10% 加到 100%,S 档的 R@3 从 6.34% 升到 10.30%,相对提升 62.5%;XL 档从 24.92% 升到 62.57%,相对提升 151.1%。其余五项指标是同一个趋势:容量越大,从新增数据里拿到的相对收益越多。

这一条对做模型的人比前两条更有用——它说明「数据和容量要一起加」,只加一边会浪费。

对「AI 编舞」这条线意味着什么

先把位置摆清楚。站内这两年写过的音乐驱动动作,大致三条线:

  • 音乐 → 3D 舞蹈动作(EDGE、Bailando、FineDance 这一类):输出是给人看的骨骼动画,不求机器人能执行。
  • 音频流 → 机器人即兴(UCL 让 G1 边听边跳那篇):重点是低延迟的在线反应,动作库和动作质量不是重点。
  • 单目视频 → 机器人跟随(MoViC):重点是「不用动捕设备」,实时把人的动作搬到机器人身上。

Movens-Zero 补的是第四个角:一个统一的基础模型 + 一批「机器人真能执行」的大规模数据。它的音乐那一路不是「生成一段好看的舞蹈动画」,而是「生成 G1 的关节轨迹,并且这套轨迹在仿真里被验证过能跑」。

这个区别在实际使用里很硬:前者你还要自己做重定向、修穿模、调平衡;后者出来就是 G1 能吃的动作,仓库里连 Sim2Sim(MuJoCo)和 Sim2Real(G1 真机)的部署脚本都给了。

对做编舞/演出的人来说,多了一个可能性:先用文字或音乐出一版动作,直接在仿真里看机器人做出来是什么样,觉得行再上真机。这个循环以前要么很贵(要动捕 + 重定向 + 调参),要么很不准(纯视频生成,机器人根本做不了)。

怎么用:现在真的能跑起来

仓库给的是完整可执行路径,不是「敬请期待」:

  1. 环境:conda create -n movens-zero python=3.10,然后 pip install -e .。音乐/语音/视频三种输入需要 FFmpeg 和 FFprobe。
  2. 下权重:python scripts/download_models.py,默认拉 XL(910.5M)。想省显存就 --model-size S/M/L。注意底座 Qwen2.5-Omni-3B 要另外准备,仓库不分发 Qwen 权重。
  3. 跑推理:一条命令切模式。

- 文字:movens-zero --mode text --description "A person walks forward calmly."

- 音乐:movens-zero --mode music --input-path song.wav --prompt "Generate a dance motion that follows the rhythm and energy of this music."

- 语音:movens-zero --mode speech --input-path speech.wav

- 视频:movens-zero --mode video --input-path clip.mp4

  1. 默认参数:输出 300 帧、50 FPS(也就是 6 秒),10 步 flow sampling,CFG 1.5,CFG 区间 0.2–0.8。要更长就调 --num-output-frames;视频模式下如果人太小,默认会自动放大主体(--no-auto-zoom 可关)。
  2. 输出:每个目录里给 joint_pos.csv、joint_vel.csv、body_pos.csv、body_quat.csv、motion.npy 和 metadata.json——关节和刚体的位置、速度、四元数都有,直接能喂给控制器或做分析。
  3. 上机器人:sim2sim/ 是 MuJoCo + 全身控制器,带实时推理延迟评测;sim2real/ 是 G1 真机部署,GPU 推理服务器 + 机载控制器,客户端流式回传机器人状态。
  4. 自己训:training/train.py 支持单卡/多卡、支持断点续训,单卡示例是 batch 4 × 累积 4、3 万步。
  5. 评测:Movens-Intent 有 text / speech / music / video 四条 track,共 8192 对专家核验的「条件—动作」样本,每条 track 都有配套的评分脚本。

适用场景

  • 要给人形机器人做动作基础模型的团队:这是目前少数几个「数据 + 权重 + 训练代码 + 评测集 + 部署脚本」齐全的栈,可以直接当起点,而不是从零爬。
  • 做音乐驱动表演/编舞的:音乐那一路出的是可执行轨迹,能在仿真里先看效果,成本比动捕低一个量级。
  • 做遥操作或示范学习的:视频模式就是「拍一段人做的动作,机器人照着做」,用的是普通 RGB 视频,不需要动捕服。
  • 做规模实验研究的:四档动作专家 + 公开数据比例,这套设置本身就是一个可复现的 scaling 实验台。
  • 教学与科普:输出是 CSV + npy,学生能直接看关节轨迹长什么样,不用先搭一套渲染管线。

不适用场景

  • 要商用的产品:仓库原话是 "Project-specific code and checkpoint license terms have not yet been specified"(项目代码和权重的许可条款尚未指定);底座 Qwen2.5-Omni-3B 走 Qwen Research License,只允许非商用研究和评估。现在拿去接商业项目,法务这一关过不去。
  • 要非宇树平台的:模型输出是 G1 的 36 维动作表示,换机器人要自己做重定向,仓库没给别的机型的适配。
  • 要精确手部操作:这是全身动作模型,不是灵巧手模型。仓库里没有手部精细操作的评测。
  • 要真实延迟数字做选型:README 没有给端到端延迟或真机成功率,只有 sim2sim 的延迟评测入口。想拿数字下结论,得自己测。
  • 算力紧张:XL 是 9.1 亿参数的动作专家 + 30 亿参数的 Qwen 底座,README 默认 cuda:0,没有 CPU 或量化版本。
  • 只想生成视频给人看:它输出的是动作数据,不是渲染好的视频。要画面还得自己接渲染。

避坑

  • 别写成「论文刚发布」。arXiv v1 是 10 月 30 日,86 页技术报告;这周新的是开源发布。写混了就是把旧论文冒充新消息。
  • 别写「完全开源」。代码在,权重在,但许可条款空着。这四个字在这种状态下会误导人。
  • 别把 Qwen 底座算进「开源范围」。Qwen 权重不随仓库分发,且是非商用许可。
  • 别把 1.08B 当成参数量。那是动作帧数(1.08 亿帧以上);参数量是 64.2M 到 910.5M(动作专家),加 3B 底座。
  • 别把 297 和 16 搞混。297 是细分动作类型,16 是场景组。
  • 别把 50 FPS 当控制频率。50 FPS 是动作序列的输出帧率;控制频率取决于机载控制器,仓库没说具体值。
  • 别拿它跟纯视频生成模型比画质。它输出关节/刚体轨迹,不是像素。
  • 注意「执行验证」这个词的份量。500 万条是「通过仿真验证」的数量,不等于「真机全都能做」——仿真和真机之间有 sim-to-real gap,论文里真机演示是定性展示,没有大规模成功率统计。
  • 媒体转述的数字要回一手核。二手站会把「1500 万」和「500 万」写混,把「小时」写成「条」。以项目页和 arXiv 摘要为准。

成本和时间

  • 读材料:项目页 15 分钟能看完结构和四档权重表;arXiv 摘要 5 分钟;要抠细节得读 86 页报告的方法和实验两节,1 到 2 小时。
  • 跑通推理:装环境 + 下权重(XL 权重 + 3B 底座,几十 GB 量级)+ 跑第一条命令,顺利的话半天。主要时间花在下模型和 FFmpeg 依赖上。
  • 训自己的:单卡 3 万步是 README 的示例配置,真要在自己数据上训出可用效果,是「多卡 + 周级」的活。数据准备那一头(重定向 + 物理精修)比训练更贵。
  • 上真机:需要一台 G1、一台带 GPU 的推理服务器、以及把机载控制器配起来。这部分仓库给了脚本,但没有给硬件清单和排错手册,实际调试时间取决于你的机器人状态。
  • 钱:数据和代码本身不收费;成本在算力、存储和真机。

行动建议

第一步:先看项目页那支 5 分 16 秒的真机影片。里面把「真人视频 → 机器人执行」「现场语音指令」「音乐驱动」「文字提示」四种输入都演了一遍。看完你就知道自己要的是不是这个东西,不用先下几十 GB 权重。

第二步:如果只是想验证「音乐能不能驱动机器人跳舞」,直接拉 S 档(64.2M)动作专家 + 一段 6 秒的音乐,跑 --mode music,看输出轨迹在 MuJoCo 里的样子。S 档便宜,够判断方向。

第三步:如果你要做产品,先把许可这件事查清楚再投入。仓库现在写着「尚未指定」,这不是「开源」,是「待定」。同时盯着 Qwen 那侧的商用授权路径。

第四步:把 Movens-Intent 那 8192 对样本当基准用。想做对比实验的话,这是现成的、四条 track 都齐的评测集,比自己造一套省几周。

第五步:关注它的短板——输出是 G1 专用表示、没有手部、没有真机成功率。如果你的场景是「非宇树平台 + 需要精细操作」,这套东西只能当参考架构,不能当成品。

参考来源

  • 项目主页(作者机构、数据集统计、四档动作专家、5 分 16 秒真机影片):https://movens-zero.github.io
  • GitHub 仓库(安装、四模态推理、训练、Sim2Sim、Sim2Real、许可说明):https://github.com/wendell0218/Movens-Zero
  • 论文《Movens-Zero: Scaling Humanoid Motion Foundation Models with Large-Scale Human Videos》(arXiv:2610.41877,86 页技术报告,v1 2026-10-30):https://arxiv.org/abs/2610.41877
  • Hugging Face 数据集 Movens-5M(500 万条可执行机器人动作、多模态配对):https://huggingface.co/datasets/wendell0218/Movens-5M
  • Hugging Face 基准 Movens-Intent(四条 track、8192 对条件—动作样本):https://huggingface.co/datasets/wendell0218/Movens-Intent
  • Hugging Face 权重 Movens-Zero-XL(910.5M 动作专家,2026-11-17 更新):https://huggingface.co/wendell0218/Movens-Zero-XL
  • 机器之心报道(2026-11-18, scale 实验与流水线细节):https://ainrk.com/article/article-31370
  • RoboHot 中英文条目(2026-11-18):https://robohot.news/items/gc67c3us4kpma3wditahyvqvu
  • AIGC.BAR 解读(2026-11-18):https://www.aigc.bar/en/AI%E8%B5%84%E8%AE%AF%E6%96%87%E7%AB%A0/2026/11/18/embodied-ai-gpt-moment-movens-5m

说明:本文核心事实(数据规模、四档参数量、规模实验数字、推理参数、许可状态)以项目主页、GitHub 仓库、Hugging Face 与 arXiv 摘要为准;媒体侧信息基于多家媒体转述整理。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...