生图3D类

四张照片就能补出看不见的背面:Meta 把 3D 高斯重建改成「生成」,8K 个高斯打赢 50 万个,但权重不许商用

2026年11月16日1 次阅读
四张照片就能补出看不见的背面:Meta 把 3D 高斯重建改成「生成」,8K 个高斯打赢 50 万个,但权重不许商用

3分钟看懂:这次放出来的到底是什么

一句话先说结论:Meta Reality Labs 联合西蒙弗雷泽大学、牛津、多伦多的一篇 ECCV 2026 论文,在 11 月 13 日把代码和权重真的放了出来——代码 MIT,权重要先申请、只能做非商业研究。它做的事不是「把照片贴成一个壳」,而是给定四张照片后,直接把整团 3D 高斯「生成」出来,包括你没拍到的那一面。

先把时间线摆清楚,这也是很多人会误读的地方:

  • 论文早在 2026 年 4 月 6 日就挂上了 arXiv(编号 2604.04874)
  • GitHub 仓库 10 月 27 日建好,但里面只有空壳
  • 真正的发布动作是 11 月 13 日 17:14 UTC 那一个 commit:「Free-Range Gaussians project release」
  • 同一天 18:14 UTC,2.04GB 的推理权重上传到 Hugging Face,状态是门控(要申请、要同意许可)

项目名叫 Free-Range Gaussians,中文可以理解成「自由摆放的高斯」。这个名字就是它的全部主张。

为什么这件事值得看

用手机或相机拍一圈做 3D,行业里长期有两条路,各有各的残废:

第一条:像素对齐(pixel-aligned)。 LGM、GS-LRM 这类方法,把每个像素「抬」成一根高斯柱。拍到的角度很准,但视角一转,没拍到的区域就是空洞——因为那些地方本来就没有像素可抬。

第二条:体素对齐(voxel-aligned)。 先把空间切成格子再回归。洞是补上了,但格子里的值是「平均出来的」,边角发糊,而且为了覆盖整个空间,高斯数量会爆炸:ReconViaGen 用了 50 万个,GS-LRM 7 万,LaRa 4.5 万。

Free-Range Gaussians 换了个问法:既然没拍到的区域本来就没有答案,那就别「回归」,直接「生成」。 它在 3D 高斯参数上做 flow matching——从噪声开始,一步步去噪成一组高斯。高斯不绑像素、不绑体素,就摆在三维空间里该在的位置。

代价是速度,收益是「少而准」。官方给出的默认配置是 8,192 个高斯、50 步欧拉积分;论文里报的单物体推理时间是单张 H200 上约 26 秒。对比那些一次前馈几百毫秒出结果的方法,这慢得多——但它换来的东西,是别人补不出来的背面。

数字摊开看:8K 打赢 50 万

论文 Table 1 的实验设定很苛刻:四张输入视图全部挤在同一个半球,也就是物体的另一面完全没被看到。这个设定比常规的「环绕拍摄」难得多,也最接近真实场景(你拍桌上的摆件,永远拍不到底面)。

在 Objaverse 和 Google Scanned Objects 两个数据集上:

  • 本方法(8K 高斯):Objaverse PSNR 29.92 / DINO 相似度 81.80 / DreamSim 9.24 / FID 43.58;GSO PSNR 28.08 / DINO 72.24 / FID 27.69
  • GS-LRM(70K 高斯):Objaverse PSNR 27.90 / FID 65.06;GSO PSNR 27.57 / FID 34.13
  • LaRa(45K 高斯,体素路线):Objaverse PSNR 27.79,但 FID 高达 93.19
  • ReconViaGen(500K 高斯):Objaverse PSNR 只有 21.33

关键不是 PSNR 高了 2 dB,而是FID 这一列。FID 衡量的是「生成出来的东西像不像真的」,越高越假。8K 高斯拿到 43.58,70K 的 GS-LRM 是 65.06,45K 的 LaRa 是 93.19。也就是说,高斯数量少了将近一个数量级,补出来的部分反而更像真的。

论文自己的摘要写得很直白:相比网格对齐的方法,高斯数量少大约 10 倍,而在「输入视图没覆盖到」的情况下优势最大。

这套提升不是白来的,三个部件各管一段:

  • 分层 patch 化:把空间上相邻的高斯两两合并成一个 transformer token,序列长度直接砍半,8K 高斯才跑得动
  • 按时间步加权的渲染损失:去噪早期和后期关注的东西不一样,权重得跟着变
  • 推理期两把引导:classifier-free guidance(默认 2.0)+ 光度梯度引导(默认 50)

怎么用:官方示例三步跑通

官方仓库给的是可以照抄的最短路径,但有几个前置条件必须先说清:Linux + NVIDIA CUDA 显卡,Python 3.10–3.12。macOS 和纯 CPU 不在支持范围内,Windows 没有官方说明。

第一步,装环境并申请权重。权重不是公开下载,要去 Hugging Face 页面点申请、填表、等人工审批:

python -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
pip install -e .
hf auth login
hf download facebook/free-range-gaussians frg_ckpt.pt --local-dir checkpoint

第二步,直接跑自带的例子。仓库里带了五个场景,其中 TOWER_TUMBLING 是最常被引用的那个:

bash run_example.sh TOWER_TUMBLING nc4

跑完去 outputs/TOWER_TUMBLING_nc4/ 里拿三样东西:reconstruction.ply(就是那团高斯,任何 3DGS 查看器都能开)、showcase.png(参考视角和预测的对照图)、run.json(里面记了 checkpoint 的 SHA-256、随机种子、软件版本、显卡、耗时和峰值显存)。

第三步,换成自己的场景。这里是最容易卡住的地方:它不做前景分割,也不做相机位姿估计。你得自己准备好四张 512×512 的图,外加每张图的 3×3 内参矩阵、4×4 的世界到相机矩阵(OpenCV 约定:p_camera = R p_world + t,+Z 向前、+Y 向下)。图片尺寸不符会被直接拒绝——官方是故意这么设计的,免得标定和图像悄悄对不上。

没有显卡也想先验证格式,可以只做检查:

python -m free_range_gs.infer --scene path/to/scene.json --validate-scene

适用场景

  • 物体级的稀疏视角补全:电商拍四张图要出可旋转展示、文物只允许从固定几个角度拍、游戏道具需要背面
  • 需要「能转」而不是「能看」的资产:输出是标准 3DGS 参数(对数尺度、logit 不透明度、四元数、DC 球谐颜色),丢进现有 3DGS 渲染器就能用
  • 研究对象级生成先验的人:代码 MIT、方法完整、权重可申请,适合做对比基线或二次研究

不适用场景

  • 要网格(mesh)交付的:它出的是高斯泼溅,不是带 UV 的 glTF/OBJ。要进游戏引擎或 3D 打印,还得再走一道提取网格的工序
  • 要商用产品的:权重和输出都受 FAIR 非商业研究许可约束,见下节
  • 要实时/批量吞吐的:单物体 26 秒(H200)、50 步去噪,比一次前馈的方法慢一个量级
  • 拍大场景/房间/街区的:论文的实验对象是单个物体,输入固定四张、分辨率固定 512×512,没有大场景的证据
  • 没有位姿的随手拍:位姿得自己算,这一步它不负责

避坑:三个最容易踩的地方

坑一:以为「MIT」就等于「随便用」。 这是本轮最大的误解来源。代码是 MIT,但权重是 FAIR Noncommercial Research License,而且许可原文明确写了「不得将研究材料或其输出、结果用于任何商业用途」。也就是说,你用这套权重生成出来的高斯,也不能拿去卖。仓库里 README 的徽章把这两件事分开标了:Code-MIT 和 Model-FAIR_NC,别只看前一个。

坑二:以为输出就是成品资产。 官方在文档里写得很清楚:这个版本不含前景分割、不含相机位姿估计。也就是说给一张随手拍的照片,它没法自动把物体抠出来、也没法猜相机在哪。这属于「用之前先自己备料」,不是「开箱即用」。

坑三:许可证传染。 导 PLY 用的 plyfile 是 GPLv3 或更高,项目的 MIT 许可并不能覆盖它;DINOv2 编码器参数保留上游 Apache-2.0。要把这套东西嵌进闭源产品,这三层许可得逐个过一遍。

成本和时间上还有两个具体数字:权重文件 2.04GB(checkpoint 里只有 model_state_dict,不含优化器状态),SHA-256 是 0ef8b218…190a9,官方给了校验值就是为了防止下到半截。推理要 CUDA,gsplat 首次使用会现场编译扩展,需要 nvcc、C++ 编译器和 Ninja——只有 PyTorch 的 CUDA 运行时是不够的,而且首次编译要在单进程里跑完,多进程并发编译同一个缓存会打架。

行动建议:先做哪一步

第一步,别急着下 2GB 权重。先用 --validate-scene 把你自己的四张图和相机参数跑一遍格式校验——这一步不需要显卡、不需要权重,能提前暴露 90% 的失败:图不是 512×512、内参和缩放不匹配、旋转矩阵不是正交的、坐标系约定搞反了。

第二步,跑通 TOWER_TUMBLING 这个官方例子,确认你的 CUDA 环境和 gsplat 编译没问题,再换成自己的数据。顺序反了会同时面对两个未知数,很难定位。

第三步,如果目标最终是商用,先去看许可原文再投入时间。技术上它能用,法律上它现在只能用于非商业研究——这两件事得分开决策。

参考来源

说明:本文的技术细节、配置默认值、数据集与指标数字均取自官方项目页、代码仓库文档与论文原文;释放时间以 GitHub commit 与 Hugging Face 权重上传时间为准,论文时间为 2026 年 4 月,不作为「新发布」依据。媒体侧交叉印证部分基于多家媒体转述整理,独立第三方实测本轮尚无。

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...