返回资讯中心
外部精选
软件工程
#开发者实时流

开发者训练出17.7M参数小模型,可在浏览器中运行世界模型

来源标题:World Model Running in the Browser

开发者将世界模型Spokester升级至第二版,用17.7M参数的ViT-S模型仅需两次前向传播即可根据光流和深度图生成RGB画面。相比初版200M参数的ViT-B,新模型体积和计算量大幅缩减,快到能在网页浏览器中运行。该模型用于基于简单3D游戏的实时画面生成。

Hacker News 最新topwalktown2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我训练了一个小型 ViT-S,让它根据光流和深度图生成逼真的 RGB 帧。在折腾了一番 GAN 和目标函数之后,我得到了一个足够小、足够快的模型,可以直接在浏览器里运行。

骑行穿过纽约市阳光明媚的春日街道。在汽车和行人之间惊险穿梭,脚踏板飞转、车轮呼啸。你能骑出最远的距离吗?

Spokester-1 是我在 2025 年 12 月做的。差不多一年之后,我决定重新捡起来,看看能不能做出一个更好的版本。Spokester-1 使用像素空间的 flow matching 来生成逼真的 RGB 帧,条件是简单 3D 游戏的深度图和光流。Spokester-1 的神经网络是一个 2 亿参数的 ViT-B,12 步推理去噪,每帧 590 GFLOPs。Spokester-1 很简单,但质量和效率都不够。

Spokester 2 把小规模世界建模推到了极限:一个 1770 万参数的 ViT-S,两次前向传播。根据光流和深度生成 RGB 帧并不需要大网络。模型不需要表示场景的物理、运动或整体结构。给定这么简单的目标,我很好奇一个 spokester 网络能做到多小、多快。我带着这些目标出发:

由于我有一份全职工作,没有足够的时间自己仔细设计架构和实验。其中很多实验是用 Claude opus 5.5 来跑训练和微调的。我在最后讨论这种做法,以及 vibe coding 带来的问题。

Spokester 的神经网络以深度和光流作为输入。我同时使用深度和光流,是因为它们可以很容易地从游戏的渲染中获取,并且提供了关于场景位置和运动的关键细节。Spokester 的网络不会凭空创造运动、碰撞或物体。游戏的深度和光流提供了稳定的基础,使得游戏引擎可以修改游戏的机制和规则,而不需要关心纹理、光照或视觉细节。

我的第一个洞见是,我可以完全抛弃 flow matching 和多步去噪。虽然扩散模型可以被蒸馏到 1-4 NFE,但我认为更简单的做法是直接从零训练模型,用极少的前向传播次数生成视频帧。spokester 网络已经拥有场景的低频结构。对于仅仅生成高频视觉糖这件事来说,扩散模型完全是杀鸡用牛刀。

我受到了 Priming models 作者的启发[注]Are We Overthinking One-Step Generation? [arxiv],他们用一种优雅而简单的范式训练了一步图像生成模型。Priming 模型经过预训练来对加噪样本去噪。样本在某个固定时间步上加噪,模型输出 x 预测,损失使用感知损失和 L2 损失。预训练之后,primed 模型还不能单步生成样本。模型在训练时看到的样本只保留了一点点像素,当给它纯噪声时,它输出的样本不在分布内。推理时,priming 模型接收纯噪声。因此,一个小型的第二阶段会训练 primed 模型,用分布匹配损失来生成样本。预训练阶段让模型能够快速适应第二阶段使用的分布匹配。Priming 模型简单、快速、易于实验。一旦你得到了预训练的 primed 模型,就可以跑很多短实验来测试第二阶段,因为第二阶段只需要 20,000 个训练步。

(Park et al.)使用的技术不能直接套用到视频模型上。首先,视频没有公认的感知损失。LPIPS 无法准确增强模型的时间一致性。其次,视频没有公认的特征编码器。(Park et al.)在第二阶段分布训练中使用的图像编码器选择非常常规:ResNet-MAE 和 ConvNext。研究者们还没有在视频特征编码器上达成共识。

视频不存在感知损失网络。priming 模型 stage 0 中使用的特征损失对获得可接受的质量并不是关键。没有它们,作者报告 FID 从 4.95 恶化到 7.49,这大概只是轻微可察觉。尽管如此,我还是想用特征空间损失来 priming 我的 spokester 网络。我使用 REPA,在第 4 层(共 12 层),将 spokester-2 的 ViT-S 的投影与从 VJEPA 2.1, Base 提取的特征对齐。我使用 VJEPA 的最后一层,在最终归一化之后。我没有对这个选择做消融,我只是假设它有效,并且能提升预训练模型的能力。

我使用了 toni 这个视频,它是一个 2k 分辨率、24fps、约 30 分钟的视频。我还加入了另外两个类似的骑行内容视频:Jakarta 和 Traffic is Back,后者是一个第一人称 GoPro 视频。值得注意的是,Traffic is Back 不像其他视频那样是第三人称视角。在 Traffic is Back 中,Lucas Brunelle 的相机捕捉的是他的第一人称视角。你能看到他的手和车把。

我没有对这些视频的选择以及更大预训练语料的效果做消融。我把它留给我更务实的方案,我会在发布这篇文章之后尝试。

我的第一个实验在各种分辨率的视频上训练了 770,000 步,使用 x 预测损失和权重为 0.5 的 REPA 损失。模型接收输入 patch 和 patch 位置,以及逐 patch 的深度和光流。输入 patch 在固定噪声水平 0.9 下加噪,(0.1∗x+0.9∗ϵ)(0.1 * x + 0.9 * \epsilon)(0.1∗x+0.9∗ϵ)。这个实验使用纯像素 patch 作为输入和输出。深度和光流通过单个 AdaLN 投影进行投影,并在生成的 transformer 块中使用。我使用 DiT-Air 风格的参数共享,除了 MLP 权重之外,所有 transformer 块之间共享所有其他权重。我使用 Muon 优化器进行训练。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →