
Niantic等公司转向世界模型,用3D模拟训练机器人与自动驾驶
来源标题:World Models Will Soon Be Inescapable. Here’s What You Need to Know
Niantic在出售Pokémon Go后转向世界模型,利用其积累的现实世界数据构建可模拟物理规律的数字环境。与基于文本的大语言模型不同,世界模型以图像等视觉输入预测下一帧视觉状态,可作为机器人和自动驾驶汽车的训练场。业界预计2027年家用机器人和无人驾驶汽车将迎来大规模扩张。
以下正文由 AI 翻译自 Wired(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Niantic,也就是《Pokémon Go》的开发商,去年卖掉了这款游戏,全力转向硅谷当下最热门的人工智能方向之一:世界模型。“我们做的本质上就是重建真实世界,”Niantic Spatial 首席技术官 Brian McClendon 说。他希望利用公司积累的海量世界数据来构建现实世界的复制品。与以文本为核心的大语言模型不同,世界模型使用视觉输入,能够生成模拟物理规律的数字环境。
这类软件即将渗透进日常生活,而你未必需要直接与世界模型交互。2027年可能成为家用机器人和无人驾驶汽车大规模扩张的关键一年,而这两者都受益于世界模型的进步。是时候更好地理解这些机器人是如何“思考”的了。
“用语言模型时,你给它一个句子,它会预测句子中的下一个词,”专注世界模型的 AI 实验室 Odyssey 的 CEO Oliver Cameron 说,“用世界模型时,你给它一个世界的视觉状态、一张图像,它就会预测世界的下一个视觉状态。”这些生成的三维场景可以用作数字训练场。“它们是模拟,但看起来和感觉上都像真的,”他说。
McClendon 认为,世界模型可以帮助机器人在不需要实际移动、也不需要身处目标环境的情况下进行练习。他说,有人可以拍摄机器人预期工作场所的照片,生成三维模型,然后让软件运行“数百万次模拟”,按照该空间的参数来训练机器人。
能用模拟练习的不只是人形机器人;无人驾驶汽车也能借助世界模型来提升表现。没有人类坐在方向盘后面,软件在瞬间做出的反应就至关重要。
“重要的是,世界模型必须能够对我们在世界中采取的行动做出反应,因此它必须理解物理、因果关系,以及其他物体和人如何根据我们的行为改变自己的动作,”Wayve 首席科学家 Jamie Shotton 说。该公司构建面向汽车的世界模型。
Wayve 的生成式世界模型部分依赖行车记录仪视频来驱动。这家初创公司用它来重建危险道路和其他不安全的场景——这些场景在现实中测试并不现实。
除了物理应用,开发者们也在分析世界模型会如何影响电子游戏。由于物理和三维渲染是电子游戏的核心,腾讯等大厂正在投资自研世界模型。
可以预见,像 Google 这样的大型 AI 公司会持续宣传其世界模型的最新进展。投资者也在大举押注计算机科学领域那些正把注意力转向这项技术的新锐大牌。Meta 前首席 AI 科学家 Yann LeCun 最近为其创业公司 Advanced Machines Intelligence 融资超过十亿美元。此外,斯坦福大学著名计算机科学家李飞飞于2024年创立了 World Labs,今年被 AMD 以超过80亿美元收购。
即便你打算完全避开自动驾驶汽车和家用机器人,世界模型已经在幕后改变着劳动力市场。为了模拟我们的物理世界,AI 实验室需要真人来记录它。今年早些时候,我把一部 iPhone 绑在额头上,在公寓里录了好几个小时的视频。我录下自己叠衣服、洗碗、倒健怡可乐的画面,通过一个 App 出售这些视频数据,报酬相当微薄。随着越来越多公司试图构建更好的世界模型,可能会有更多零工需要这类数据采集。
从2016年追逐虚拟怪物,到2026年出售自己做家务的视频,这些系统正在吞噬我越来越多的物理生活。现在我忍不住想象:某个类人机器人的数字幽灵被困在我卧室的模拟场景里,用金属爪子无休止地叠着我的平角裤——每叠一次就稍微熟练一点。抱歉我没先收拾一下。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。