AI编舞

一条手机舞蹈视频，变成能改的 3D 骨骼：免费动捕工具 RGB MoCap 把 NVIDIA GEM-X 接进来了

2026年11月10日1 次阅读
一条手机舞蹈视频，变成能改的 3D 骨骼：免费动捕工具 RGB MoCap 把 NVIDIA GEM-X 接进来了
AI 编舞 · 动作生成

过去几天，一个叫 RGB MoCap 的开源小工具连续三次更新，把「用普通视频抓人体动作」这件事又往前推了一格：11 月 9 日接入 NVIDIA 的 GEM-X 模型，11 月 10 日补上 Maya 兼容的 FBX 导出，同一天又加了 SAM 3.1 找人。它不是一个新的舞蹈生成模型，但它解决的是编舞和动画流程里最脏最累的那一段——把真人跳的舞，变成能拖进 Blender、Unity、Unreal 里继续改的骨骼动画。

先讲结论：3 分钟看懂

  • 它是什么：一个 Windows 桌面程序，把 7 个开源「视频转 3D 人体动作」模型塞进同一个界面，本地跑，不上传云端。
  • 这次新在哪：接进了 NVIDIA GEM-X（77 关节、含手指、固定机位），并支持把结果导成 FBX / BVH / 可编辑的 Blender 工程。
  • 对谁有用：编舞师想把自己的舞存成资产、动画师要快速出草稿、游戏和虚拟主播团队要批量做动作库。
  • 它不是：一键成片工具。抓出来的动作要人工修接地和关节，官方自己也说 GEM-X 在它们的测试里「动作质量相对偏低」。
  • 门槛：64 位 Windows + NVIDIA 显卡，六模型全装约 77.8GB。

这次到底更新了什么

三条提交记录，时间都在 72 小时内，可以直接在仓库里查到：

  • 2026-11-09 13:21 UTC：「Add GEM-X Native77 motion capture and exports on Windows」——GEM-X 正式进主流程，保留原生 77 关节 SOMA 骨架，可导出 FBX、BVH 和带贴图缓存的 Blender 工程。
  • 2026-11-10 06:37 UTC：「Add optional Maya-compatible FBX export」——多一个 Maya 兼容开关，用内置 Blender 做最终导出，FBX 会保留骨架 rest pose。
  • 2026-11-10 08:31 UTC：「Add optional SAM 3.1 person tracking on Windows」——用 SAM 3.1 做「找谁」的框选，多人视频里可以先点人再重建。

这个仓库本身是 10 月 26 日才建的，目前 1226 星、154 个 fork，应用代码是 MIT 协议。所以准确说法是：不是「RGB MoCap 今天发布」，而是「它今天把 NVIDIA 最新的单目动捕模型接进来了」。

GEM-X 这条线，为什么对跳舞的人有用

GEM-X 是 NVIDIA 实验室的项目，做的是单张普通摄像头视频里的全身 3D 人体姿态，用的是 SOMA 体型模型。接到 RGB MoCap 之后，具体参数是这样的：

  • 骨架：原生 77 关节，包含手指，不再只是身体大关节。
  • 输入：一段固定机位的视频，可裁剪 4 到 1800 帧，按 30fps 处理。
  • 输出：77 关节 FBX 或 BVH（米制、Y 轴向上），也可以导出成 .blend 工程，连同原视频和评估出的体表缓存一起带走。
  • 重定向：能直接套到 Mixamo、VRM、PMX 的人形角色上，MMD 用户还能导出 VMD。

对编舞场景来说，关键在「含手指」和「30fps 长片段」。以前这类工具抓出来的动作，手指经常是一坨，跳手势舞或者有明确手型的编舞就没法用；1800 帧的上限意味着单条素材最长能到 1 分钟，够放完一段完整的副歌。

怎么用：从视频到骨骼的五步

  1. 装环境。装好 Git for Windows，克隆仓库，跑 install.cmd。这一步会准备 ExMR、FlowHMR、GVHMR 三个默认模型的运行时，加上 Blender 和 FFmpeg。
  2. 准备模型文件。有些模型要注册账号、接受条款后手动下载（SMPL-X、MANO、SAM 3D Body 都是审批制的），下完在程序里的 Model Manager 导入。想用 GEM-X 就再跑一次 Setup_GEMX.cmd，它复用已有的 Python 环境，额外占约 9.24GB。
  3. 打开视频。右上角选 AI 模型，多人视频先点「Find person」框人，再点「Reconstruct 3D」。
  4. 修接地。这是最花时间也最值钱的一步：脚滑、手掌悬空、身体整体上浮，都可以在时间轴上拉条子指定「这一段脚是踩实的」，然后点 Apply Correction，不用重新推理。
  5. 导出。选 FBX、BVH 或 Blender 工程；要换角色就先导入人形模型做 Retarget，再导出。

实测数据：速度不慢，但要留够内存

以下数字来自第三方评测者的公开记录与媒体报道，基于多家媒体转述整理，测试机是 RTX 5070 Ti（16GB 显存）+ 32GB 内存的 Windows 机器，和官方文档里 RTX 5090 的标称值不同：

  • ExMR 抓一段 1920×1080、30fps、176 帧的街舞：约 1 分 30 秒，整机内存峰值 23.4GB，显存峰值 7.6GB。
  • 同一个片段换 FlowHMR（固定机位模式）：GPU 时间约 40 秒，显存峰值 7.0GB，身体上浮的问题明显减轻。
  • 手部滑移仍然是主要缺陷：每次撑地滑 6 到 60 厘米，工具的自动接地检测基本找不到手，需要手动标。
  • 修完接地会带来新问题：手臂被固定后，肘部弯曲从平均 36 度涨到 56 度，得回 Blender 用动画层修。
  • 单人之外，一台机器一个机位抓 5 人齐舞是可行的，「Find person」识别出 15 个人，勾选 5 个后一起重建，手指形状也能对上。

适用场景

  • 编舞存档与复用：把自己或学员的舞跳一遍，存成 FBX/BVH，之后换角色、换机位、换场景都不用重跳。
  • 动画与游戏预演：先出低成本草稿，再决定哪条要精修，省掉动作捕捉棚的排期。
  • 虚拟主播与短视频：真人动作直接驱动 VRM 模型，MMD 用户走 VMD 那条路。
  • 舞蹈教学对比：把老师和学生的同一段舞都抓成骨骼，叠在一起看差异。

不适用场景

  • 需要电影级精度的成品动画：它给的是「可修的草稿」，不是终稿。
  • 快速运动、遮挡严重的素材：快速旋转、双人贴身穿插、大量遮挡仍然会崩。
  • 只有 Mac 或 Linux：目前是原生 Windows 应用，需要 NVIDIA 显卡和 OpenGL 4.3。
  • 想直接生成一支不存在的舞：这是「抓现有动作」，不是「文本生成舞蹈」，后者要看 Kimodo、EDGE、Wan-Dancer 那一类。

注意事项（避坑）

  • 许可证要分开看。应用代码是 MIT，但模型不是：ExMR 和 GVHMR 限教育、研究、非营利使用；SMPL-X、SMPL-H、MANO 这些体型与手部模型本身带非商用限制；GEM-X 的代码是 Apache-2.0，模型权重走 NVIDIA Open Model License，SOMA 资产还有单独条款。商用前逐个确认，别只看仓库首页的 MIT。
  • 磁盘要留够。六个离线模型全装约 77.8GB，加上工程缓存和下载包，建议预留 120GB 以上。
  • 别指望自动接地。手撑地、跪地、地板动作这类街舞和现代舞，自动检测几乎都要人工补，时间轴标段的活儿跑不掉。
  • GEM-X 快但粗。项目文档自己写的是「处理快、动作质量相对偏低」，适合快速预览和多人场景，精修还是 ExMR、FlowHMR 更稳。
  • 一次只处理一种模型的结果。换模型要重跑推理，虽然工程里会分别保存每个模型的结果，但别指望合并。

成本与时间

  • 软件本身免费、开源。
  • 硬件是主要成本：16GB 显存的消费级卡能跑，32GB 内存是舒适线；官方标称数据是在 RTX 5090 上测的。
  • 时间预估：装环境加下模型第一次大约 1 到 2 小时（取决于网速和审批制文件的下载）；之后单条 10 秒素材推理在 40 秒到 1 分半之间；人工修接地和关节，按经验至少是推理时间的两三倍。

行动建议：第一步做什么

如果你只是想先看看效果，别急着装全套：克隆仓库、只跑 install.cmd 准备 ExMR 和 FlowHMR，拿一段自己拍的 10 秒固定机位舞蹈试一遍，重点看两件事——脚有没有飘、手型对不对。这两项过关，再决定要不要上 GEM-X 和多人流程。

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...