代码造世界，扩散绘现实：AgentGarten让智能体在实时试炼场中边玩边进化

过去构建100个逼真仿真环境，需要专业美术团队建模、贴皮、打光，成本高到难以承受。而在AgentGarten中，只要能输出简单的三维深度和法线轮廓，任何极简的代码场景都能直接套用这套神经渲染器，瞬间获得写实的光影与材质。翼装飞行、机械臂操作、厨房烹饪、多车竞速，底层共用同一个视觉接口——虚拟环境的扩充成本，第一次从“美术劳动密集型”变成了“代码程序化扩展型”。

△图3｜跨任务的多样化物理世界。涵盖空间导航、物体操控、运镜重拍与多车交互等。左侧为代码导出的简易白模，右侧为渲染器实时生成的拟真视觉。

更关键的是，这套渲染器是流式生成的：动作走一步，画面画一段，智能体看清结果再做下一决策，交互真正像现实世界一样连贯流转。

世界搭好了，接下来要看的是智能体：在这样的世界里反复行动、复盘，它能不能自己越做越好？

一个经典的参照是OpenAI 2019年的捉迷藏实验：躲藏者和搜寻者在放有挡板和坡道的场地里对抗，经过大规模自我博弈，相继学会了搭建掩体和借坡道翻墙。

MirroS团队在AgentGarten中重做了这个实验，采用一对一的设定：躲藏者先布置场景，然后轮到搜寻者进场。

对战规则清晰纯粹：躲藏者先布置场景封堵入口，随后搜寻者进场搜寻。智能体通过写Python代码控制移动与抓取，全凭眼前生成的画面决策，对空间坐标、对手位置一无所知。

双方从完全空白的手册起步，各自维护由单篇技能组成的策略库。每轮对战十局，战罢复盘沉淀，下一轮随机抽选部分技能库应用。

很快，那些经典的博弈策略在数轮内相继涌现：挪挡板封门、搬斜坡搭桥、翻墙受挫后拉近斜坡重试。

2019年的研究因涌现出这些经典行为而闻名，也提供了一个直观的对照（见图4）：在那项研究中，AI依靠从零开始的强化学习，摸索出掩体搭建，经历了约2500万局；学会借坡道翻墙，经历了约1亿局。

而在AgentGarten中，智能体面对第一人称视觉画面，在轮次之间复盘并修订文字手册，躲藏者在第4轮学会了搭掩体，搜寻者在第10轮掌握了借坡道翻墙。

△图4｜代表性策略出现前所经历的对局规模对比。自我博弈RL在特权物理状态上从零训练数千万至上亿局；MirroS智能体依据第一人称渲染画面行动，通过逐轮反思手册在数轮内迅速掌握相应策略。