生图3D类

3D 高斯泼溅不再非得用英伟达:这支团队让手机自己拍完、自己训练、自己出模型

2026年11月20日5 次阅读Read in English
3D 高斯泼溅不再非得用英伟达:这支团队让手机自己拍完、自己训练、自己出模型

3分钟看懂

先说结论:3D 高斯泼溅(3DGS)训练一直默认「拍完传回一台带 CUDA 的英伟达工作站」。2026 年 11 月 17 日挂上 arXiv 的 Cross3DGS 把这条默认改掉了——同一套 Vulkan 计算核心,在 8 种不同 GPU 上都能跑完「标准质量」训练(3 万次更新、100 万个高斯),包括两台安卓手机和一台 iPhone,最后出来的画质差异只有 0.019 dB(bicycle 场景)和 0.063 dB(garden 场景)。作者还直接放了 Android 和 iOS 的完整 App,从拍摄、稀疏重建到训练、自由视角浏览全在手机上完成。

一句话:以前你要一张 RTX 卡才能玩的东西,现在一台手机也能跑完整条链路,只是慢。

  • 论文:Cross3DGS: Unified Vulkan-Based 3D Gaussian Splatting Training from Workstations to Mobile Devices
  • 作者:Hiroyuki Sato(MinD in a Device)、Yusuke Takimoto
  • 录用:WACV 2027 Workshop on Eyes of the Future(EOF)
  • 代码:https://github.com/unclearness/cross3dgs (AGPL-3.0-or-later,另有商业许可)

它到底是什么

拆开看是三样东西:

1. 一个不用 CUDA 的训练器。 C++20 + Vulkan 1.1 / SPIR-V 1.3,Windows、Linux、macOS(走 MoltenVK)、Android、iOS 都能编译。GPU 覆盖英伟达、AMD、Intel、Arm Mali、高通 Adreno 和苹果自研 GPU,一共六家厂商、八种配置:RTX PRO 6000、Iris Xe、UHD730、RX 9070 XT、Mali G1-Ultra、Adreno 740、M5 Pro、A14。

2. 一套「按设备挑执行方案」的机制。 作者把训练步骤拆成 256 种执行方案(schedule),再用 13 条可行性规则,根据设备限制、工作量大小和历史驱动故障剔除跑不对的方案,最后按固定偏好序挑一个。关键是:每种方案算出来的优化器更新在数值上必须一致。论文用同 GPU 对比和 CPU 双精度参考做了验证,梯度最大差 3.4e-8,Adam 更新最大差 1.5e-6,没有一个值超出容差。

3. 一个能装到手机上的 App。 安卓版用 ARCore 录制、把相机位姿和内参当先验喂给安卓移植版的 CPU COLMAP,再训练、再看;iOS 版用 ARKit,其余共用。也就是说,拍完不需要把家里的画面传上云。

为什么重要

3DGS 这两年是 3D 重建里最实用的一条路线:拍一圈照片,几十分钟就能得到一个能实时转着看的场景。但它的训练代码几乎都长在 CUDA 上,gsplat、LichtFeld Studio、Postshot 全都要英伟达卡。这带来两个现实问题:

  • 设备门槛:手机、平板、眼镜拍的东西,必须整包传回工作站。
  • 隐私与离线:室内、私人空间的采集数据被迫离开设备。

Cross3DGS 的意义不是「手机比工作站快」,而是把「必须上传」这个前提去掉了。论文里说得很直白:目标场景是拍完之后的批处理,比如手机充电的那几个小时。

硬数字:差距有多大

| 项目 | 结果 |

|---|---|

| 标准质量训练耗时跨度 | PRO 6000 上 115 秒;两台安卓设备和 iPhone 上 2.36–3.23 小时;UHD730 集显 3.44 小时 |

| 跨设备画质差 | bicycle 场景 PSNR 跨度 0.019 dB,garden 场景 0.063 dB |

| 对比 VkSplat | 11 个场景里 9 个 PSNR 更高,平均高 0.074 dB;耗时差 4.4 秒,置信区间跨零 |

| 对比 Brush | 画质略高 0.041 dB(区间含零),但 Brush 耗时约 3 倍 |

| 手机端能耗(25.5k/30k 步,亮屏) | Adreno 740:16.9 Wh(6.0 W);G1-Ultra:7.2 Wh(3.0 W);A14:约 9.2 Wh |

| 手机端 App「拍完到能看」 | 演示档 28–46 分钟,其中 SfM 占 19–30 分钟,3DGS 只占 7–18 分钟 |

还有两条对比很能说明「可移植」不是换个编译目标就完事:VkSplat 需要至少 32 lane 的 subgroup,而且没有安卓/iOS 宿主;Brush 在 Adreno 740 上跑 100 万个高斯时会超出 128 MiB 的 storage buffer 上限,在 UHD730 上 VkSplat 更是在前 200 步就把 GPU 挂死。

怎么用

桌面端(Windows / Linux / macOS):

  1. 装 Vulkan SDK、C++20 编译器、CMake ≥ 3.28、Ninja。
  2. 克隆仓库,按 README 构建;跑 configs/standard_quality.json 这套配置就是论文里的标准质量。
  3. 每次训练会把选中的 schedule 写进 bench.json,出问题可以直接看它挑了哪条路径。

安卓端:

  1. 先下 Mip-NeRF 360 数据集(App 里内置了七个场景)。
  2. gradlew :app:assembleRelease 出 APK,adb install 装上。
  3. 用 scripts/benchmark_android.py --config configs/standard_quality.json --scene bicycle --evaluate 复现论文数字。

iOS 端同理,走 Xcode 构建,录制用 ARKit。想省事就直接用 App 拍,不用碰命令行。

适用场景

  • 室内/私人空间的三维采集:数据不出设备,这是最硬的理由。
  • 没有英伟达卡的团队:AMD 卡、Mac、Intel 集显、安卓设备都能跑同一套代码。
  • 移动端产品原型:App 本身就是可用的参考实现,AR 采集 + 端上 SfM + 端上训练 + 自由视角,链路完整。
  • 需要离线作业的场景:野外、工厂、现场勘测,没有稳定回传带宽。

不适用场景

  • 追求速度:手机上标准质量是小时级(3.7–4.4 小时填满 100 万高斯),桌面 115 秒是 PRO 6000 的成绩,别拿手机去比。
  • 需要商用闭源集成:代码是 AGPL-3.0-or-later,另有商业许可,嵌入闭源产品前必须先看许可条款。
  • 头显、智能眼镜:论文明确说这类算力更弱的设备留给后续工作,目前没有验证。
  • 跨设备横向比设备性能:论文里的手机场景是各自采集的,作者自己说明这几列不能用来比较设备强弱。

避坑

坑一:固定偏好序不是免费的。 第二步选方案时不在设备上做计时,偏好序是离线定好的。在留出的 M5 Pro 和 A14 上它挑中了最快的可行方案,但在开发机 RX 9070 XT 和 UHD730 上,它挑的方案比最快的可行方法慢 2.94 倍和 4.17 倍——所以 AMD 和 Intel 各自单独维护了一套偏好序。换设备、换驱动之后,别默认它会自己挑到最优。

坑二:手机上真正的时间黑洞是 SfM,不是 3DGS。 演示档里 SfM 要 19–30 分钟,3DGS 只要 7–18 分钟。想优化「拍完多久能看」,先动 COLMAP 那一段。

坑三:热量和充电会改成绩。 G1-Ultra 的 GPU 到 55–56 °C 时频率从 0.68 掉到 0.60 GHz,单步时间涨 8%;A14 在第 5 分钟进入「serious」热状态,插上充电器后中位单步时间反而涨了 44%。测续航要在拔掉电源、屏幕常亮的状态下测。

坑四:可移植不等于性能对齐。 强制在 PRO 6000 上单独打开某些保守方案(精确 pair gather、可移植排序、图像流式加载),单步时间各自翻倍以上;流式加载虽然把跟踪内存从 995 MB 压到 312 MB,但代价是速度。

成本与时间

  • 硬件成本:桌面端一张支持 Vulkan 1.1 的卡就能起步,不需要 CUDA;移动端就是现有手机。
  • 时间成本:桌面标准质量 115 秒到 3.44 小时不等,取决于卡;手机 2.36–3.23 小时。
  • 电费成本:以手机端实测能耗算,一次训练大约 7–17 Wh,属于「充着电放一晚」的量级。
  • 学习成本:桌面构建是标准 CMake 流程;安卓/iOS 要各自配工具链,这是主要门槛。

行动建议

  1. 先跑通桌面端:拿一台非英伟达的机器(AMD 或 Mac)跑 standard_quality.json,验证 Vulkan 路径在你手上能不能出结果。
  2. 再试手机 App:用内置的 Mip-NeRF 360 场景复现一次,看看「拍完到能看」在你设备上的真实耗时。
  3. 读许可条款:AGPL-3.0-or-later 对网络服务也有约束,商用前确认是否需要商业许可。
  4. 关注 schedule 日志:bench.json 里记录的选择是最好的排查入口,性能异常先从那里看。

本文基于论文原文(arXiv 2611.22240v1)与官方代码仓库整理,未做独立复现;所有性能数字均引自论文作者的自测结果。

参考来源

  • arXiv 摘要页:https://arxiv.org/abs/2611.22240
  • 论文全文(HTML):https://arxiv.org/html/2611.22240v1
  • 官方代码仓库:https://github.com/unclearness/cross3dgs
  • 项目主页:https://unclearness.github.io/cross3dgs/

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...