返回资讯中心
外部精选
软件工程
#开发者实时流

World Labs推出新一代世界模型Atlas,原生支持文本图像视频与3D

来源标题:Atlas: A World Model for Spatial Intelligence

World Labs发布新一代世界模型Atlas,这是一个从零预训练的多模态自回归扩散Transformer,将文本、图像、视频和3D输入统一为共享空间上下文来生成后续内容,并保持3D一致性。该模型可执行世界生成、重建与模拟等任务,能根据参考图像在任意相机位置和角度生成新视图,且性能随训练算力提升而改善。

Hacker News 最新gmays2026/11/15 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

世界模型能够生成、重建并模拟任何可能的世界。它们理解世界如何呈现、如何运行、如何演化,从而让我们能够为创作者渲染想象中的世界,高保真地模拟真实世界,并帮助机器人规划动作。在 World Labs,我们构建这些通用世界模型,以追求空间智能。今天,我们推出 Atlas——我们的下一代世界模型。Atlas 是一个全能模型,我们从零开始预训练,使其能够原生地处理文本、图像、视频和 3D。它是一个多模态自回归扩散 Transformer:所有输入都被组合到一个共享的空间上下文中。Atlas 利用该上下文生成接下来的内容,在 3D 中与它所见的一切保持一致性,并想象其边界之外的事物。Atlas 的设计目标是可扩展:其性能随着训练算力的增加而提升,我们预计随着持续扩展,这一趋势将保持下去。Atlas 能够执行广泛的任务,涵盖世界生成、重建和模拟:

Atlas 接收一张或多张参考图像,并生成你指定的任意相机位置和角度下的新视图。生成的视图与输入图像的内容和几何结构相匹配,并平滑地外推到输入中不可见的场景部分,对其进行想象。Atlas 能够处理广泛的场景类型、视觉风格和相机运动。视频由一到六张输入图像生成,相机路径为手动设计。

Atlas 将精确的相机几何作为原生输入类型,超越了基于文本的粗略相机控制指令。这让你能够构图每一个镜头并控制每一个运动。在此处的示例中,Atlas 从单张输入图像生成一个完整的场景。它利用输入图像的内容及其广泛的世界知识,来想象场景从新角度看起来应该是什么样。例如,它生成了机器人的背面,并猜测泳池旁边应该有一片草坪。从单张图像,Atlas 生成任意角度的视图。拖动以改变视图。

与 LLM 类似,Atlas 首先将输入编码到一个上下文中,然后基于该上下文生成输出。然而,Atlas 的独特之处在于每张图像都被锚定在空间中的 3D 位置上;这形成了一个空间上下文。管理这种空间上下文解锁了全新类型的创作控制。例如,你可以将两张不相关的参考图像放入上下文中,并将它们定位在 3D 空间中;Atlas 然后生成一个在它们之间平滑插值的世界。这些示例展示了模型的世界知识和创造力;它在原本不相关的图像对之间想象出门道、走廊、角落和其他过渡。选择左右帧来填充空间上下文,Atlas 将它们拼接在一起。

Atlas 让你通过结合相机运动和空间上下文管理来生成具有精确控制的长视频。你设计每一个场景和每一个相机角度。这让你坐上了导演椅:你在调度场景,而不是拉动老虎机的拉杆。在下面的示例中,我们使用少量参考图像生成了一个 1440p 分辨率的一分钟视频。我们手动设计了穿过场景的相机路径,Atlas 生成了一个连贯的世界。本页其余视频已压缩以优化页面性能。

Atlas 从一张或多张输入图像重建真实世界的空间。它不需要特殊的采集设备或数百个密集视图来忠实地重建物体和场景。我们相信 Atlas 是朝着解决从稀疏输入图像进行新视图合成这一问题的重大进步,这是 3D 计算机视觉领域一个数十年历史的基础问题。Atlas 可以接收可变数量的场景输入视图。当世界的某些部分在输入视图中不可见时,Atlas 通过利用其丰富的世界知识来想象一种合理的填补空白的方式。但有时你不想要想象;你可能想要对真实世界位置的精确重建。传入更多输入图像给 Atlas 更多上下文:它看到的越多,想象的越少。Atlas 通常仅用两三张图像就能给出忠实的重建,超越了专门仅针对 3D 重建训练的模型的最先进结果。然而,Atlas 也可以在其空间上下文中利用超过一百张输入图像,从而实现对真实世界环境的忠实再现。在下面的第一个示例中,Atlas 仅从一张地面照片生成场景的鸟瞰图。单张输入照片中可见的花园在模型输出中被准确地重建,但场景的其余部分则是想象的。在添加了花园旁小屋的第二张真实世界输入图像后,模型的输出显示了花园和小屋,但它仍然想象了左侧的房屋;有了主屋的第三张输入图像,整个场景被准确地描绘出来。在第二个示例中,我们逐块构建斯坦福大学的主广场,从草地正门开始,到纪念教堂外立面上装饰的彩色马赛克结束。尽管 Atlas 只接收两到二十五张地面输入图像,但它可以生成从校园上方远处飞行的鸟瞰路径。Atlas 可以在同一场景中生成许多不同的轨迹,为相同的输入图像提供新的视角。无论你多少次更改相机路径,场景都保持一致。在下面的示例中,我们展示了给定一小组输入图像,Atlas 可以在同一场景中生成多条相机路径。不同的相机路径可以强调场景的各个部分,或通过改变速度、长度或复杂度来改变氛围。Atlas 可以使用一小组输入图像在同一场景中生成许多不同的路径。

在上面的结果中,你已经看到 Atlas 输出 2D 图像和视频,这对某些应用来说已经足够。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →