不用动捕服、不用 VR 头盔:一只普通摄像头,人形机器人跟着人跳完整支舞
11 月 15 日,arXiv 上线了一篇论文《MoViC: Real-Time Humanoid Whole-Body Control from Monocular Video Streams》。作者 13 人,主力来自香港大学,另有新加坡国立大学、北京理工大学和众擎机器人(EngineAI),通讯作者是港大的 Peng Lu。它做的事件很具体:一个人站在一只普通 USB 摄像头前跳舞,一台真机人形机器人(众擎 PM01)实时跟着做。人身上没有贴标记点,没穿动捕服,没戴 VR 头盔,也没拿手柄。
这件事之所以值得单独写,不是因为「机器人会跳舞」——今年会跳舞的机器人已经不少。值得写的是它把硬件砍到了什么程度:输入只有一路 1920×1080、30 帧每秒的 RGB 画面,而且同一套控制策略不需要为每一支舞、每一个任务重新训练。论文里同一个策略先跳完一支舞,再去做双臂搬箱子、单臂提袋子。
3分钟看懂
一句话先说结论:这篇的贡献不在「动作更漂亮」,而在把慢的视觉信号和快的控制信号接上了,靠的是一段频域编码,而不是堆未来帧。
三件事值得记住:
- 一只摄像头,10Hz 的视觉喂 50Hz 的控制器。从画面重建人体姿态只有约 10Hz,机器人关节控制要 50Hz。中间那 40Hz 由外推模块补出来,视觉和策略异步跑,互不等待。
- 策略的输入被压小了。它不把未来 10 帧参考动作一股脑塞给网络,而是给一段 320 维的频域编码(论文里叫 θ),只额外保留 1 帧明确的下一步目标。消融实验里,这个组合的仿真跟踪成功率是 99%,比「显式看 10 帧未来」的 95% 还高,输入维度从 1330 降到 1182。
- 真机上跑了两类活。一支以单腿支撑、抬腿为特征的舞蹈(Bencaogangmu),以及完全没有针对任务训练过的遥操作:双臂夹住箱子、抬起、转身、侧放到另一张桌上;单臂勾住提袋提手,走 139 秒,放到台面上再把手抽出来。
它到底怎么把「一只摄像头」跑通的
整条链路分三段,论文把这一段叫 SEG(Real-Time Monocular Video Processing Module):
- 重建:用 SAM 3D Body 从画面里估出人的三维姿态,频率约 10Hz。
- 重定向:用 GMR 把人的骨骼动作映射到 PM01 的关节配置上。这一步不是简单缩放,而是要处理形态差异——人的手臂比例和机器人的连杆长度完全对不上。
- 外推:把 10Hz 的参考动作补到 50Hz。论文管这个模块叫 FLD(latent-dynamics 外推),做法是在潜空间里推相位,而不是逐帧插值。
部署时三段是异步的:采集、推理、下发各跑各的,图像缓冲区只有一个槽位,永远只留最新那一帧。这个细节看着小,但很关键——如果按队列排,画面一慢,机器人就会追着几百毫秒前的旧姿态动,看起来像在「补作业」。另外还有一个「测量锚定」步骤,用来修正重建和重定向共同带来的整体偏移。
需要说清楚的是:50Hz 指的是参考动作生成和控制这一侧,不是视觉重建每秒算 50 次。人体三维重建仍然是约 10Hz。
真正的招在「怎么喂时间信息」
人形机器人跟踪参考动作,本质是个「看着未来一小段、决定现在怎么动」的问题。最直觉的做法是把未来 N 帧参考动作显式堆进策略输入,但这会让输入维度暴涨,控制步每一步都要多算。
MoViC 换了个思路:先把参考动作窗口压成一段频域表示 θ——它描述的是一段动作的节奏和局部变化相位,维度只有 320。策略的输入因此变成三样东西:10 帧本体感受历史(810 维)、1 帧显式的下一步目标(52 维)、以及 θ(320 维)。
消融实验(论文 TABLE IV)把这个设计的价值摆得很直白:
- 只给 1 帧未来:成功率 90%,MPJPE 0.47 rad
- 显式给 10 帧未来:成功率 95%,MPJPE 0.28 rad
- θ 编码 + 10 帧显式:成功率 99%,MPJPE 0.28 rad
- θ 编码 + 1 帧显式(论文采用):成功率 99%,MPJPE 0.25 rad,MPJVE 4.30 rad/s
也就是说,一旦策略拿到了 θ,再额外塞 9 帧显式未来帧,一点提升都没有,只多了输入维度。这是这篇最值得抄的地方:时间上下文用紧凑表示传,精确目标只留一步。
真机上到底做了什么
跳舞:用的是 Bencaogangmu 这支舞,动作里有明显的单腿支撑、另一条腿抬起这种对平衡要求高的姿态。论文给的图里,机器人复现了这支舞的上下半身特征配置。但要注意,这一部分是定性展示——论文自己写了,θ 分布的图只提供定性视角,不是跟踪精度的定量指标。
遥操作:这部分更能说明问题,因为它涉及接触和负载。
- 双臂任务:箱子立在桌上,机器人两手从两侧夹住,抬起并倾斜,转向侧桌,把箱子侧放下去再松手。整个转身过程中箱子不能掉——两只手必须一直压在对面,相对构型不能散。
- 单臂任务:手勾住袋子提手,提起、迈步、搬到旁边台面放下,最后把手从提手里抽出来。论文特别提到,抽手那一下,袋子的图像位置位移在 1 个像素以内,说明手是「抽出来」的而不是「拖出来」的。
而这两件事,策略都没有针对任务训练过,也没有观察物体、没有接触力反馈。负载在它看来是纯粹的未建模扰动,只能靠本体感受反馈去补。
重建这一环的账也要算
机器人跳得准不准,上限由重建质量决定。论文在 EMDB 数据集上比了实时重建模块:
- GVHMR + GMR 组合:MPJPE 123.45mm
- HybrIK + GMR 组合:189mm
- SEG(本文):117.54mm
PA-MPJPE 是 68.76mm,PVE 130.5mm,3D PCK(150mm 阈值)60.14%,AUC 45.49%。在自采的 Bencaogangmu 序列上也是同一趋势(SEG 123.625mm,GV.+G 126.5mm)。
换算一下:平均关节位置误差 117mm,差不多是一个手掌的长度。对「跟着跳」这种粗粒度全身动作够用;对需要精确手部对位的活儿,还不够。
怎么用
现在能用的东西分三类,得说清楚:
- 论文本身:arXiv 上是完整的,16 页 10 图,方法、消融、对比、真机、限制都在,可以当工程参考读。
- 项目页:https://movicproject.github.io/ 有概览图和演示视频(YouTube 链接),但代码位置写的是「Code (coming soon)」——目前没有放出代码和权重。
- 复现路径:论文把组件都点名了(SAM 3D Body、GMR、PPO、MuJoCo),训练数据是 AMASS、LAFAN1、Motion-X++、OMOMO 加自采数据。真要复现,得自己把这些零件拼起来,成本不低。
适用场景
- 没有动捕棚的实验室或小团队:一台摄像头 + 一台带 SDK 的人形,就能做全身动作跟随的实验。
- 遥操作原型:操作者不想穿设备,但需要机器人做接触类任务(搬运、摆放)。
- 舞蹈/表演预演:先把真人的动作直接演到机器人身上看效果,再决定要不要精修。
- 作为跟踪策略的基线:它公开了和 SONIC、OmniH2O、TWIST 在同一支未见过的舞蹈上的对比设置,可以拿来对齐评测口径。
不适用场景
- 想直接下载来跑:代码和权重都还没放,只有一个「coming soon」。
- 需要精确手部操作:重建误差量级在 10 厘米级,手指级任务现在撑不住。
- 移动相机 / 手持拍摄:实验用的是刚性固定、保持水平的相机,重力方向被固定成 (0,1,0)。论文把「相机跟着机器人头部移动」列为后续工作。
- 算力紧张的环境:全部模型跑在一台装 RTX 5090 的 PC 上,论文没有给轻量化版本。
- 需要成功率统计做选型:真机部分是演示性质的连续片段,没有大批量任务成功率。
避坑
- 别写成「开源了」。项目页明确是 Code (coming soon),本轮只有论文 + 项目页 + 演示视频。
- 别把 99% 当真实成绩。那是仿真里动作跟踪的消融成功率,不是真机成功率,也不是搬物成功率。
- 别把 50Hz 说成视觉帧率。视觉重建约 10Hz,50Hz 是补出来的参考动作频率。
- 别把机器人认错。论文用的是众擎(EngineAI)PM01,不是宇树。参与者里有 EngineAI 的人。
- 别忽略「固定相机」这个前提。所有真机结果都建立在相机刚性固定、水平安装、1920×1080/30fps 条件下。
- 别把舞蹈展示当成定量结论。舞蹈部分是定性演示;量化只在仿真消融和重建对比里。
成本和时间
- 读论文:40–60 分钟能读完方法和实验两节,消融表只有一张,信息密度高。
- 等代码:项目页只写 coming soon,没有时间表。想跟就盯项目页和作者主页。
- 自己复现:真正的成本在三处——拿到一台带可用 SDK 的人形(PM01 或同级)、把 GMR 重定向跑通、训一个 PPO 跟踪策略。论文的训练数据是多个公开动捕集加自采数据重定向而成;没有 GPU 集群的话,这一步是周级到月级。
- 推理硬件:论文的配置是一张 RTX 5090,实际部署时的机载算力方案论文没讨论。
行动建议
第一步:先看项目页那两段演示视频(跳舞 + 遥操作),确认你要的是不是「粗粒度全身跟随」这件事——这决定了它对你有没有用。
第二步:如果你在做遥操作,直接抄它那个输入设计:频域编码传上下文 + 只留一帧显式目标。这个结论跟具体机器人无关,换成你自己的平台大概率也成立,而且能实打实减小输入维度。
第三步:如果你要的是「现在就能跑」,别等这份代码。同一条线上,站内写过的 PartLock-CMU 是能直接下载权重的实时文生动作模型,FlashMotion 是代码权重都放出来的快速动作生成,先用它们把管线搭起来。
第四步:关注限制那条——长时间遮挡和突然换动作时,潜相位外推不保证准。如果你的场景里操作者会走出画面,这个坑一定会踩到。