HuggingFace 出现了个3D版Diffusers：一套API同时吃下TRELLIS、TripoSG、混元3D等7家3D生成模型
HuggingFace 出现了个"3D 版 Diffusers"：一套 API 同时吃下 TRELLIS、TripoSG、混元 3D 等 7 家 3D 生成模型
一个名为 diffusers-3d 的开源项目近日在 GitHub 和 HuggingFace 上线后迅速更新（仍在活跃迭代，最近一次主要更新落在 10 月 12 日至 14 日之间），把 TRELLIS、TRELLIS.2、TripoSG（Tripo 开源版）、Step1X-3D、Hunyuan3D-2.1（腾讯混元 3D）、SAM 3D Objects（Meta）、Pixal3D（腾讯 ARC） 这 7 个当下最主流的图像/文本转 3D 生成模型家族，统一封装成与文本/图像 Diffusers 一样的 from_pretrained 加载方式。
这套东西到底解决什么问题
过去两年里，AI 生 3D 的质量进步飞快，但生态分散。每个模型各自有独立 repo、各异的依赖、不同的 ComfyUI 节点或脚本加载方式——TRELLIS 用 spconv，混元 3D 用自定义 CUDA 光栅化，SAM 3D Objects 又是另一套推理流程。想把 5 个模型放一起做评测或对比，几乎要搭建 5 套环境。
由 HuggingFace 研究工程师 Suvaditya Mukherjee 主导的 diffusers-3d（Apache-2.0 许可）改写了这个体验：每个模型照旧从 Hub 下载，但都按 model_index.json + 组件文件夹的标准 Diffusers 目录结构组织，用 AutoPipelineForImageTo3D.from_pretrained("模型repo名") 一行加载，返回的不再是屏幕上的像素，而是类型化的张量对象：
MeshAsset（顶点/面/UV/PBR 材质）GaussianSplatAsset（均值/尺度/四元数/球谐系数）SparseVoxelAsset（坐标/特征）OVoxelAsset（TRELLIS.2 / Pixal3D 的"双网格 + PBR"体素表示）
Output 全部是 torch.Tensor 数据类，带着自己的形状校验、4×4 位姿变换矩阵和坐标系枚举，.to(device, dtype) 迁移像普通模型一样顺畅。什么时候转成 GLB/NPZ/PLY、愿意在转换时丢掉什么，由你自己决定。
支持的 7 个家族与许可现状
| 家族 | 管线 | 任务 | 权重许可 |
|---|---|---|---|
| TRELLIS（微软） | TrellisImageTo3DPipeline / TrellisTextTo3DPipeline | 图/文 → 3D | MIT |
| TRELLIS.2（微软） | Trellis2ImageTo3DPipeline | 图 → 3D（O-Voxel + PBR） | MIT |
| TripoSG | TripoSGImageTo3DPipeline | 图 → 3D | -- |
| Step1X-3D（阶跃星辰） | Step1X3DImageTo3DPipeline + 贴图管线 | 图 → 3D + 网格贴图 | Apache-2.0 |
| Hunyuan3D-2.1（腾讯混元） | Hunyuan3DImageTo3DPipeline + Hunyuan3DPaintPipeline | 图 → 3D + PBR 贴图 | Tencent Community License（欧盟/英国/韩国不可用） |
| SAM 3D Objects（Meta） | Sam3DObjectsPipeline | 带掩码图 → 3D | SAM License |
| Pixal3D（腾讯 ARC） | Pixal3DImageTo3DPipeline | 图 + 视场角 → 3D | MIT |
项目自述会"每个集成指明它复现的上游仓库与 commit，并用测试对比过数值"，不仅装得上一行 API，也明确标出了哪些部分是纯 PyTorch 重写、哪些需要可选的 compiled backend（gsplat 渲染高斯泼溅、CuMesh 导出贴图 GLB 等）——restricted 后端需要显式许可确认参数，不会被悄悄自动装。
配套权重也同步发布了
为让"from_pretrained 一行加载"立即可用，10 个转换后的 checkpoint 已经推上 HuggingFace Hub，时间集中在 10 月 13 日晚至 10 月 14 日（UTC），包括新一批的 TripoSG、Step1X-3D geometry/texture、Hunyuan3D-2.1 主模型和 Paint 贴图、SAM 3D Objects、Pixal3D 镜像，以及早先已有的 TRELLIS 三个版本和 TRELLIS.2-4B。
值得注意的是，不同许可带来的限制被显著标注：
- 微软 TRELLIS / TRELLIS.2 / 阶跃 Step1X-3D / 腾讯 ARC Pixal3D 都是宽松许可（MIT 或 Apache-2.0），EU/UK/South Korea 等地域无障碍
- 腾讯 Hunyuan3D-2.1 是 Community License，在欧盟、英国、韩国区域 explicitly 不可用
- Meta 的 DINOv3 / SAM 编码器 weight 被单独 gate，需要手动接受许可后传入
它为什么重要
从工程侧看，diffusers-3d 本质上做了一件事：把"哪个模型怎么调"这一层从各自 repo 里抽出来，变成 Hub 上的标准目录格式 + 统一的 shape-checked tensor。这既是开源 3D 生成生态走向"和文生图一样好用 / 一样可组合"的关键一步，也为往后的 Agent 调用铺路——如果你在做 3D 资产的自动化评测、agent 驱动的多模型对比、或者给 3D 管线加 LoRA，现在可以直接上这套 unified 接口，不必一个个模型单独接 ComfyUI 节点或自写胶水代码。
从产业侧看，这也呼应了过去几个月的趋势：3D 生成模型本身在质量上高速演进（从八月 Meshy 7 到最近的各类扩散式四边面拓扑输出），但把模型"用起来"的门槛始终远高于生图。diffusers-3d 抓的正是这层"工程侧最后一公里"。
限制仍然实际存在：agent 想拿到 PBR 贴图的 GLB 仍需装 CuMesh 这类 NVIDIA 非商业许可的 compiled backend；TRELLIS.2/Pixal3D 的 DINOv3 编码器受 Meta 许可 gate，需要手动接受后传入。真正开箱即用的，首先是 TripoSG、Step1X-3D 几何、Hunyuan3D-2.1 形状模型这类不需要 compiled backend 的组合。
来源
- GitHub 项目主页: https://github.com/suvadityamuk/diffusers-3d
- HuggingFace TRELLIS.2 权重: https://huggingface.co/suvadityamuk/TRELLIS.2-4B-diffusers-3d
- HuggingFace Hunyuan3D-2.1 权重: https://huggingface.co/suvadityamuk/Hunyuan3D-2.1-diffusers-3d
- HuggingFace Pixal3D 权重: https://huggingface.co/suvadityamuk/Pixal3D-diffusers-3d