1363 支舞只有 397 支过筛:有人把 AIST++ 全量搬上了宇树 H2,但它连控制器都没跑
昨天(11 月 14 日),肯特州立大学先进远程机器人实验室的 Kyrylo Kolesnichenko 在 Hugging Face 放出了一套叫 H2 Dances 的数据集:1363 支舞蹈、10 个舞种、合计 5 小时,全部是给宇树 Unitree H2 人形机器人用的关节轨迹。
这不是一个能让机器人当场跳舞的模型,也不是一段炫技视频。它是一堆「参考动作」——告诉机器人每一帧该摆成什么姿势,剩下的平衡、发力、落脚,得你自己找控制器去解决。作者自己在数据集卡里把这句话写在了最显眼的位置:没有跑任何跟踪控制器,这些只是运动学参考。
3分钟看懂
一句话先说结论:这是目前公开数据里,把 AIST++ 舞蹈库往人形机器人身上搬得最全的一次——全量 1363 支一支不落,但它同时也是同系列三套数据集里唯一「没验证过能不能真的跳」的一套。
三件事值得记住:
- 放得最全:AIST++ 官方列出的 1363 支可用片段,全部转换完成,一支没丢。之前同作者的 G1 版本只留了 893 支,K1 版本留了 1046 支,都是因为过不了跟踪测试被砍掉的。
- 过筛最少:按作者自己定的四道质量阈值,1363 支里只有 397 支(29.1%) 过关。剩下 71% 存在足部滑移、自穿模或关节瞬跳。
- 最像「原材料」:正因为没跑控制器,它的价值在于覆盖面,而不是开箱可用。
这次到底放了什么
- 1363 条舞蹈片段,来源是日本产业技术综合研究所(AIST)的 AIST Dance Video Database,经由 Google 的 AIST++ 三维标注转换而来
- 10 个舞种:House 140、Lock 141、LA-style Hip-hop 141、Middle Hip-hop 141、Pop 140、Krump 139、Street Jazz 136、Break 133、Ballet Jazz 127、Waack 125
- 总时长 299.5 分钟,30 位舞者,60 fps
- 每条是一份 NPZ 文件,里面的
qpos是 T×38 的数组:3 个根节点位置、4 个根节点四元数(wxyz 顺序)、31 个关节角度(弧度) - 配套还给了
manifest.csv(每条的风格、舞者、音乐、时长、质量指标、SHA-256)、joint_names.json、逐步预览动画,以及一个能在浏览器里同时播放 25 支舞的 3D 查看器 - 整个仓库 230.6 MB
机器人的关节顺序来自宇树官方的 unitree_mujoco 仓库(BSD-3-Clause,已包含 h2 目录),这点很关键:你拿到的不是自定义骨架,而是能直接对上官方 MuJoCo 模型的那套。
为什么这件事值得单独说一下
过去一年「机器人跳舞」的视频看了不少,但真正的瓶颈一直不在生成模型,而在参考动作从哪来。
要让一个人形机器人学会一段舞,常见路径是:先有一段带骨骼的三维动作数据当目标,再用强化学习训练一个跟踪策略去追这个目标。第一步的数据极贵——真人动捕要场地、要演员、要后期;用视频重建又容易在快速动作上糊掉。
AIST++ 是学术界现成的、规模最大、标注最规范的舞蹈三维数据库之一。它原本的骨架是 SMPL,人形机器人用不了。于是「把 AIST++ 重定向到某个具体机器人」就成了一件重复劳动:每个实验室都在做,做完各自放着。
H2 Dances 的意义在于,它把这个重复劳动一次性做全了,而且做的是今年才量产交付的 H2,不是老机型。你下载下来就能当训练目标,不用先花两周搭重定向管线。
29% 这个数字是怎么来的
作者定了一套「编辑级筛选」,明确说了这不是行业认证,也不是公开基准,就是四个可量化的门槛:
- 自穿模帧占比(深度超过 1 厘米、且身体链间隔至少 3 个 link)不超过 5%
- 地板穿透的 95 分位数不超过 3 厘米
- 接触期足部滑移均值不超过 0.3 米/秒
- 单帧关节最大变化速度不超过 30 弧度/秒
我按 manifest.csv 逐条实算了一遍,结果是:
- 足部滑移超标 821 条(60.2%)——这是最大的淘汰原因
- 自穿模超标 344 条
- 关节瞬跳超标 218 条,最夸张的一条达到 227.7 弧度/秒(中位数只有 16.3)
- 地板穿透超标 0 条
- 关节超限 0 条
- 四项全过 397 条
注意那个「接触期足部滑移」的口径:作者自己写清楚了,它是基于距离的近似判断,取每只脚网格最低顶点距地面 3 厘米以内的帧当接触期,不是基于受力的真实站立检测。也就是说,这个指标偏保守,会误伤一些其实能用的片段,但它至少是可复现的。
舞种之间差得离谱
同样一套流程,不同舞种的通过率差了 30 倍:
- Street Jazz:95 / 136,69.9%
- Pop:88 / 140,62.9%
- Lock:63 / 141,44.7%
- Krump:59 / 139,42.4%
- House:22 / 140,15.7%
- Waack:20 / 125,16.0%
- LA-style Hip-hop:25 / 141,17.7%
- Ballet Jazz:18 / 127,14.2%
- Middle Hip-hop:4 / 141,2.8%
- Break:3 / 133,2.3%
这个分布很说明问题。Street Jazz 和 Pop 是相对「站定、上半身为主」的舞种,脚不怎么挪,重定向后滑移小;Break 和 Middle Hip-hop 大量地板动作、快速换重心,重定向到 31 个自由度的人形机器人身上,脚一滑就被判死。
如果你只想要「能跑起来看」的片段,别随机抽,直接按风格挑 Street Jazz。想要极限动作做压力测试,Break 那 133 条全在里面,包括那 130 条没过筛的。
同门三兄弟,差在哪
这套数据集不是孤立的,作者在四天里连着放了三套,值得放在一起看:
- G1 Dances(11 月 12 日):893 条、168.6 分钟、29 自由度 Unitree G1。筛选标准是「每一条都能被 NVIDIA 已发布的 SONIC 控制器在 MuJoCo 里零样本跟踪跑完」。过筛 123 条。
- K1 Dances(11 月 13–14 日):1046 条、187 分钟、22 自由度 Booster K1。用他自己移植的 SONIC-K1 v1.0 零样本跟踪,中位局部跟踪误差 24.3 毫米。过筛 391 条。
- H2 Dances(11 月 14 日):1363 条、299.5 分钟、31 自由度 H2。没有控制器可用,全部保留,只做运动学检查。过筛 397 条。
看明白这个顺序就懂了:G1 和 K1 的「少」,是因为它们被真实跑过一遍,跑不过的删了;H2 的「全」,是因为暂时跑不了,所以全留着让你自己试。
两套数据的道理完全不同,别把 1363 当成「更成功」——它是「更未经验证」。
怎么用
四步,从下载到能在 MuJoCo 里看到动作:
第一步,只拉需要的东西。整个仓库 230 MB,但如果你只要轨迹和清单,可以过滤:
from huggingface_hub import snapshot_download
path = snapshot_download("Kyry10/h2-dances", repo_type="dataset",
allow_patterns=["motions/*", "manifest.csv"])第二步,读一条动作,确认格式没理解错:
import numpy as np
with np.load(f"{path}/motions/gBR_sBM_cAll_d04_mBR0_ch01.npz") as m:
qpos = m["qpos"] # T x 38, float32
fps = float(m["fps"]) # 60
root_xyz = qpos[:, :3] # 米,世界坐标 Z 朝上
root_wxyz = qpos[:, 3:7] # 单位四元数,注意是 wxyz 顺序
joints = qpos[:, 7:] # 31 个关节,弧度第三步,先做格式转换再训练。这是最容易卡住的地方:qpos 是 MuJoCo 的 38 维排列,而 BeyondMimic 风格的跟踪器、Isaac Lab、mjlab 各自要的 motion 格式不一样。拿去当训练目标前,先跑一遍仓库里的 load_motion.py 验证,再对着你自己的模型核 joint_names.json 的顺序。
第四步,用 manifest.csv 里的 strict_quality_screen 列做筛选,先只训那 397 条,跑通了再往里加。
适用场景与不适用场景:谁该用,谁别碰
适合你的情况:
- 你在 H2 上做动作模仿强化学习,缺一套覆盖多舞种的参考轨迹
- 你在训练一个通用的全身动作跟踪器,想要「快速、表现力强」的难样本
- 你做重定向研究,需要同一支舞在不同机器人上的对照——每条片段的 ID 保留 AIST 原始命名,可以直接和 AIST++ 原数据、和 G1 版、K1 版三方对比
- 你要给机器人做动画预览、做展会素材
不适合你的情况:
- 你想直接拿到「能跳的机器人」——这里没有控制器,一条策略都没训
- 你要做商业产品——见下一节,许可证不允许你想当然
- 你需要长序列连续动作:单条中位时长 9.6 秒,最长 48 秒,没有超过 1 分钟的
- 你用的是 G1 或其它机型:关节数和拓扑都不一样,得自己重定向,别硬套
避坑
许可证不是开源许可证。 数据集卡写的是 license: other,具体是 aist-dance-db-derived-motion。AIST 的条款原文是:学术研究免费,但如果这套数据(或由它衍生出的结果、模型、系统)要被装进任何产品、部署进任何服务,必须先发邮件到 [email protected] 签商业许可。而且任何使用和再分发都必须引用 Tsuchida et al., ISMIR 2019。这不是「署名就能商用」的 CC 协议。
数据里没有原始素材。 没有 AIST 的视频帧、没有音乐、没有 AIST++ 的 SMPL 标注。你拿到的只有重定向后的机器人轨迹。想配乐做展示视频,音乐版权得另外解决。
关节顺序必须自己核。 作者提醒了:机器人模型来自宇树官方 unitree_mujoco,用之前先拿你自己的模型对一遍关节顺序和限位。
别把「过筛」当「能跳」。 397 条只是运动学上干净,不代表物理仿真里站得住。作者原话是:特别是快速地板动作,有些片段可能很难甚至无法跟踪。
失败样本也是样本。 821 条足部滑移超标的片段被标出来了,但没删。如果你的研究课题正好是「怎么修滑移」,这些是现成的负样本。
成本和时间
- 数据本身免费下载,230.6 MB,不需要任何算力
- 磁盘:解压后按
motions/全量算,量级在几百 MB,普通笔记本够用 - 训练成本取决于你的跟踪器:这套数据只提供目标,不提供策略,所以「训一个能跳的 H2 控制器」的算力账要另外算,作者没有给任何数字
- 时间预估:从下载到在 MuJoCo 里看到第一条动作,熟悉格式的人大概半小时;要把 38 维 qpos 接进你自己的训练管线,取决于你原有管线对 motion 格式的要求,这部分没有捷径
行动建议
第一步,先别下全量。打开作者的三维查看器(kyry.me/h2-dances/viewer/),随机播几支,确认你要的舞种和动作幅度。
第二步,只拉 manifest.csv(310 KB),按 strict_quality_screen 和 genre_name 两列筛出你的目标子集,看清有多少条。
第三步,拉 3 到 5 条对应片段做格式验证,跑 load_motion.py,再对着 joint_names.json 核你自己的模型。
第四步,确认要商用的话,现在就去读 AIST 的条款、走商业许可流程,别等模型训完了才发现不能用。
参考来源
- 数据集卡与说明(官方一手):https://huggingface.co/datasets/Kyry10/h2-dances
- 作者发布博文(2026-11-14):https://kyry.me/blog/h2-dances-release/
- 配套站与 3D 查看器:https://kyry.me/h2-dances/
- 同系列 G1 版:https://huggingface.co/datasets/Kyry10/g1-dances
- 同系列 K1 版:https://huggingface.co/datasets/Kyry10/k1-dances
- UMR 重定向代码库:https://github.com/hanyang9/UMR
- AIST Dance DB 使用条款:https://aistdancedb.ongaaccel.jp/terms_of_use/
- 宇树官方 MuJoCo 模型:https://github.com/unitreerobotics/unitree_mujoco
本文数字以作者的博文、数据集卡为准;29.1% 通过率、各舞种通过率、滑移/穿模/关节速度的条数、片段时长分布,均由本文按数据集内 manifest.csv 的 1363 行逐条实算得出,未使用第三方转述口径。