生图3D类

同一份权重,从 5.67 秒压到 2.66 秒:有人给「一张图生 3D」加了个算力档位,草稿和成品现在能分开跑

2026年11月15日1 次阅读
同一份权重,从 5.67 秒压到 2.66 秒:有人给「一张图生 3D」加了个算力档位,草稿和成品现在能分开跑

3分钟看懂

先说结论:一个叫 Budget3D 的开源项目,给「一张照片变 3D」的模型 Idol 加了一个可以拧的旋钮——--budget。同一个权重文件,你想快就把 token 预算拧到 10%,你想细就拧回 100%,不用换模型、不用重新下载。

三个必须知道的事实:

  • 它不是新模型,是给旧模型装了个变速箱。 底座是 Sperid Labs 的 Idol(0.66B 参数,一张图出高斯泼溅),Budget3D 只是把它的去噪器微调了一遍,让它能按预算干活。
  • 快是真的快,但只在采样这一段。 50 步版本从 5.67 秒压到 2.66 秒(2.14 倍);5 步的 Turbo 版从 0.48 秒压到 0.15 秒(3.22 倍),峰值显存从 8.0GB 降到 6.0GB。
  • 端到端没那么夸张。 Turbo 版从头跑到尾只从 3.64 秒变成 3.23 秒,省了 0.41 秒。因为解码高斯和渲染一圈预览图这两步是固定开销,不跟着预算缩。这个数字比 3.22 倍更能说明它适合干什么。

需要写清楚的是:Budget3D 是一个社区项目,作者自己写明「不是公司也不是实验室」(not a company or a lab),也不是那篇 BudgetPix 论文的官方实现。它把论文里用在 2D 图像扩散上的「算力自适应分词」搬到了图生 3D 上。本文基于多家媒体转述整理,事实核验来自项目页、GitHub 仓库与 Hugging Face 模型卡。具体数字均为项目自报,尚无论文与第三方复现。

它到底改了什么

要理解这个旋钮,得先知道 Idol 是怎么干活的。

Idol 把一张图片编码成一串「latent token」——可以理解成把画面切成 8192 个小格子,每个格子记一点信息,然后让扩散模型在这些格子上一步步去噪,最后解码成一堆高斯(Gaussian splat),也就是那种能转着看、但不是网格的 3D 表示。

问题在于:这 8192 个格子里,有很大一部分是背景、是空白、是物体上的一块平板。它们的信息量极低,但你每次都老老实实算满 8192 个。

Budget3D 的做法很直白:先合并最不需要细节的地方。你把预算设成 50%,它就把变化最小的区域(空的地方排最前)合并成更粗的 token,只留 4096 个;设成 10%,就只留 819 个。真正需要细节的地方——轮廓、转折、纹理密集区——优先保留全分辨率。

关键在于它是微调出来的,不是推理时硬砍。模型知道自己在低预算下工作,所以输出不会直接崩成马赛克,而是整体变糊、细节变软。项目页放了 12 个物体的对比图,从 100% 到 40% 一路降,能明显看出这个「变软」的过程。

另一个容易被忽略的限制:每个序列里还有 4102 个 image-condition token 是固定的,预算管不到它们。所以预算从 100% 砍到 10%,token 数不是砍到十分之一,速度提升也就到不了十倍。这也解释了为什么 Turbo 的 3.22 倍看着漂亮,端到端却只省 0.41 秒。

三张表看懂档位

项目页给了两套完整的表,条件写得很清楚,值得原样搬过来。

50 步的 Budget3D-Idol,单卡 H100,batch 8,开 --fast:

  • 100%:8192 token,采样 5.67 秒,显存 9.9GB,端到端 11.80 秒
  • 80%:6554 token,4.59 秒(1.24 倍),9.2GB
  • 50%:4096 token,3.18 秒(1.79 倍),8.2GB
  • 40%:3277 token,2.66 秒(2.14 倍),7.8GB,端到端 8.62 秒

5 步的 Budget3D-Idol-Turbo,单卡 RTX PRO 6000 Blackwell,batch 8,开 --fast:

  • 100%:8192 token,0.48 秒,显存 8.0GB,端到端 3.64 秒
  • 50%:4096 token,0.27 秒(1.74 倍),6.9GB,端到端 3.27 秒
  • 10%:819 token,0.15 秒(3.22 倍),6.0GB,端到端 3.23 秒

还有一条必须一起看:端到端里固定要花 0.92 秒解码高斯,加 2.25 秒渲染 72 帧环绕预览。也就是说 Turbo 版有约 3.17 秒是雷打不动的,采样快到极限也压不下去。而且 8.0GB 的峰值显存里有大约 4.6GB 是常驻权重和编码器。

所以选哪一档,取决于你要什么:

  • 要吞吐(一次跑几百个草稿、批量铺场景)→ 低预算的 50 步版本最划算,2.14 倍是真的。
  • 要单张出图速度(人就坐在屏幕前等)→ Turbo 的低预算能省一点等待,但省下的绝对值只有零点几秒,别期待质变。

怎么用

操作步骤不复杂,但有几个坑要按顺序走。

第一步,装环境。 需要 Python 3.10+ 和一块 CUDA 显卡。Idol 的模型代码是原样引入的,所以要把两个仓库都拉下来:

git clone https://github.com/BudgetAny/Budget3D && cd Budget3D
git clone https://github.com/speridlabs/idol-sdk third_party/idol-sdk
pip install -r requirements.txt -r third_party/idol-sdk/requirements.txt

第二步,把 Idol 的图像编码器转一次。 这一步只做一次:

python scripts/convert_dinov3_to_hf.py --model-name vith16plus_lvd1689m --save-dir weights/dinov3

第三步,下权重。 两个都是单文件,加一个 config:

hf download BudgetAny/Budget3D-Idol budget3d_idol.safetensors config.json --local-dir weights
hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors config.json --local-dir weights

第四步,跑。 --budget 是 token 占比,取值 0.0625 到 1;--mode real 是给真实照片用的(套 Idol 自己的裁剪):

python scripts/sample.py --ckpt weights/budget3d_idol.safetensors --image photo.jpg --budget 0.5 --out photo.ply
python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.3 --fast --out draft.ply

输出是 .ply 格式的高斯泼溅文件,可以直接丢进支持 3DGS 的查看器或 Blender 5.3 看。

日常最实用的用法是同一个物体跑两遍:先用 --budget 0.3 出一版草稿,判断轮廓和构图对不对;觉得可以,再用 --budget 1.0 出成品。省的是你筛选阶段的等待时间,不是成品的质量。

成本和时间

这里得拆成两种人算。

自己有机器的:这套东西没有 API、没有托管 demo、也还没有 ComfyUI 节点,只能本地跑。成本就是电费和显卡折旧,边际成本接近零。真正的成本是你的时间——一次完整安装(含 DINOv3 转换和 Idol 权重下载)大概要下几 GB 的东西,第一次跑通按小时算,不是按分钟算。

想调 API 的:目前没有这条路径。要么自己搭,要么等社区出封装。项目页也明确说了 tech report「coming soon」,也就是说现在连一份正式的技术报告都还没有,所有数字都是项目自测。

质量成本:预算降低不是免费的。项目自己的演示片段里,预算往下走细节会明显变软,尤其是薄结构和小配件。项目页给的建议也很实在——按你实际要用的预算去检查质量,别拿 100% 的效果去判断 30% 的输出。

适用场景

  • 游戏和场景的前期铺量:关卡 blockout 阶段要一堆粗糙道具判断剪影和比例,这时候不需要 1M 高斯,几万高斯够用。低预算正好。
  • 电商和产品图的快速试摆:一个物体换几个角度、换几个配色先看感觉,草稿档能把一轮试错的等待压下来。
  • 单卡小团队:Turbo 版 6.0GB 峰值显存,配一张 8GB 卡能跑;这对没有 H100 的人是实打实的门槛下降。
  • 已经在用 Idol 的人:这是一次「换一个文件」的升级,--budget 1.0 时项目自报和原生 Idol-turbo 同一水平(原生 0.47 秒、本作 0.48 秒,中位数),等于白得一个草稿模式。

不适用场景

  • 要直接进引擎的网格。输出是高斯泼溅 .ply,不是 mesh。要拿去做游戏资产,还得自己做 splat-to-mesh 转换和重拓扑,这一步的活一点没少。
  • 要骨骼、要动画。这套流程不产骨骼,也不产 UV。
  • 要商用级确定性。这是社区项目,权重下载量还是 0,star 只有十几个,没有任何 SLA,作者也明说不是公司。
  • 要中文/多语言提示词。它根本不是文生 3D,输入只有图片。想要文字直接出模型,那是 Tripo、Meshy 那一类产品的活。

避坑

几个我自己看文档时踩到或差点踩到的点:

一是别被 3.22 倍骗了。 那是采样段的数字。端到端只从 3.64 秒到 3.23 秒。如果你的瓶颈是「点一下等结果」,这个项目给你的提升没有标题看起来那么大。

二是许可证要看两层。 代码 MIT,权重 Apache-2.0,看着很干净。但跑起来还需要 DINOv3 ViT-H+/16 和 FLUX.2 的 VAE,这两个不在发布范围内,各有各的条款。要商用,得把这两个也读一遍。

三是别把它当成 Sperid Labs 的官方升级。 Idol 是 Sperid Labs 的,Budget3D 是第三方微调。出问题找社区,不是找原厂。

四是显存别按 6.0GB 卡着买。 那个数字是「峰值采样显存」,不含解码和渲染那一大段。真正跑起来的内存水位会比表格高。

五是没有 ComfyUI 节点。 目前只有 scripts/sample.py 这一条命令行路径。习惯节点式工作流的人要自己包一层。

六是 benchmark 都是自报的。 测试物体是 Objaverse 类的合成渲染,不是真实拍摄的杂乱场景。真实照片上的表现要自己验。

行动建议

第一步,先做一件最小的事:如果你手上已经有一张想变 3D 的产品图或角色图,别急着装环境——先去看项目页那 12 组 100%→40% 的对比图,确认「变软」的程度你能接受。这一步只要两分钟,能省掉后面两小时的安装。

觉得可以,再按上面的四步装环境,先用 Turbo 版跑 --budget 0.5 试一张,确认 .ply 能在你的查看器里打开——这是整条链路上最容易出问题的一环。

参考来源

https://budgetany.github.io/budget3d/

https://github.com/BudgetAny/Budget3D

https://huggingface.co/BudgetAny/Budget3D-Idol-Turbo

https://huggingface.co/BudgetAny/Budget3D-Idol

https://speridlabs.com/research/idol

https://artrealmai.com/article/budget3d-idol-turbo-adaptive-token-image-to-3d-splats

https://extrapolator.ai/2026/11/14/budgetany-releases-three-model-categories-for-adaptive-tokenization/

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...