ABot-3DWorld 0:一句话生成可漫游3D世界,高德用空间生成原语统一多模态3D生成
ABot-3DWorld 0:一句话生成可漫游3D世界,高德用"空间生成原语"统一多模态3D生成
高德地图团队发布了 ABot-3DWorld 0,一个通用多模态 3D 世界模型。给它一段文字、一张图片或一段视频,它就能生成高保真、可自由漫游的 3D 世界。这不是又一个 text-to-3D 物体生成器——它生成的是完整的、可探索的空间场景,并且输出的是 3D Gaussian Splatting 格式,可以直接在浏览器里走动浏览。
核心创新:空间生成原语(SGP)
ABot-3DWorld 0 的关键设计是"空间生成原语"(Spatial Generative Primitive,SGP)。SGP 是一个紧凑的元组,由两部分组成:一张高质量全景图和一个空间点云。听起来简单,但它的作用是充当所有 3D 空间描述的"通用中间语言"——不管输入是文字、单图还是多视角视频,都先被提升(lift)为 SGP,后续流程统一处理。
这种设计的好处是:不同模态的输入不需要各自独立的生成管线,一个引擎搞定所有。
三步 Pipeline
整个生成流程分三步:
- 输入提升为 SGP:多模态输入(文本/图片/视频)被统一转化为全景图+点云的 SGP 表示。
- 3D 一致全景视频生成:沿着规划好的轨迹,在 SGP 基础上生成 3D 一致的全景视频,相当于"虚拟摄像机在空间中移动拍摄"。
- 全景视频重建为 3DGS 世界:将生成的全景视频通过重建引擎转化为干净的、照片级真实的 3D Gaussian Splatting 世界。
两种模式:重建 vs 创造
ABot-3DWorld 0 覆盖了两种使用场景:
- 富输入模式:当你提供多视角图片集或随手拍的视频时,系统通过几何严谨的恢复流程,尽可能忠实地还原你拍摄的场景。
- 生成模式:当你只给一张图甚至一句话时,系统会生成式地补全一个创意 3D 世界。比如给它一句"海边日落咖啡馆",它就能凭空创造出一个可走进去的场景。
地图锚定:3D 生成走向消费级
一个有意思的特性是,生成的 3D 世界可以锚定到地理兴趣点(POI),支持地图原生的空间探索。这意味着它不只是学术 demo——背后是高德的地图基础设施,生成的 3D 世界可以直接嵌入地图体验,让用户在虚拟空间中"走到"真实地点。官方页面(abot-world.amap.com/plaza)已经展示了来自全球创作者的 3D 拟真空间,悬停卡片就能看到视角偏转,点击进入全屏自由漫游。
性能表现
论文实验显示,ABot-3DWorld 0 在开源方法中达到了 SOTA 水平,在富多模态输入场景下,场景保真度超过了此前的 Marble 模型。37 人的作者团队规模也说明这不是一个小项目。
为什么重要
3D 生成领域过去一年进展很快,但大多数工作聚焦在单个物体(text-to-3D asset)或有限视角的新视角合成。ABot-3DWorld 0 的不同之处在于:它生成的是完整的、可漫游的 3D 世界,而不仅仅是孤立的物体。SGP 作为统一中间表示的设计,让同一套管线同时服务"重建"和"创造"两种需求,降低了 3D 内容创作的门槛。加上地图锚定能力,它指向了一个更实际的方向:3D 生成不只是创作者工具,也可以是消费级空间体验的基础设施。
基于多家媒体转述整理。论文地址:arxiv.org/abs/2607.11673,体验地址:abot-world.amap.com/plaza。