返回资讯中心
外部精选
软件工程
#开发者实时流

Faynt 团队推出可用语言实时指挥的《任天堂明星大乱斗》AI 智能体 Reyn

来源标题:We got AI to Wombo Combo – collaborative agents in Melee

Faynt 团队在 Faynt 模型基础上推出可用语言实时指挥的 Reyn 26C,支持 1v1 和 2v2 对战。Faynt 此前基于约 84 万份人类回放训练,并经强化学习优化,但无法接受指令操控。Reyn 26C 覆盖全部 26 个角色,演示中两个 Reyn 智能体各自接收指令,实时调整打法对抗游戏内机器人。

Hacker News 最新coatol52026/11/16 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

上个月,我们推出了 Faynt,一个能够游玩《任天堂明星大乱斗 Melee》的开放权重模型系列。我们使用大约 84 万条人类回放对其进行了训练,并通过强化学习(RL)进行了精调。

Faynt 可以参加一对一(1v1)对战,但我们无法通过指令来操控它。如果它也能进行二对二(2v2)对战呢? 更进一步,如果它能成为一个可通过语言操控的玩家,让你在 1v1 和 2v2 中都能实时协调配合呢?

于是有了 Reyn 26C,这是我们基于 Faynt 开发的语言可操控进化版本。我们从 Fox 开始,扩展到四个角色,现在用一个共享模型操控全部 26 个角色。在下面的对比中,Reyn 4C 仍作为开发基线。我们的 Fox 团队和连招实验室是独立的实验。

在开篇视频中,我们让两个 Reyn agent 对战两个游戏内 bot。每个 agent 接收各自的操控指令,指令显示在角色上方,并实时调整其打法。第二部分是独立的连招实验室接力。两者均为精选示例。

在本文中,我们将深入介绍我们如何创建 Reyn,包括: 操控:Reyn 26C 在原始指令集上对战镜像 9 级 CPU。团队战和队友伤害结果来自独立的 Fox 实验;后者使用了人类代理。

我们并不是要打造最具竞争力的、不惜一切代价求胜的 Melee bot,也不是要做一个独立的语音伴侣。我们的目标是打造一个能在响应人类指令的同时继续战斗的队友。

我们从 Fox 开始,以保持最初的操控实验简单,然后扩展到四个角色。为了覆盖完整角色名单,我们尝试复用那套游戏玩法栈,并教它的文本路由器处理更多请求。这就是 Reyn 26C。它能处理全角色名单的特殊招式请求,尽管质量仍因角色而异。实验性的 2v2 分支目前使用 Fox。

计划是让 Faynt 可操控,将这种操控带入 2v2,然后逐步构建一个人的搭档。

我们首先为 Faynt 添加语言操控,同时尽可能减少对战斗力的损失。

一个抓取、移动到某处或停止攻击的请求会改变哪些动作是有用的。我们希望这些请求能改变 Reyn 的行为,同时不使其在游戏中失效。为了教授这些行为,我们从 Faynt 的权重出发,在人类回放中添加语言标签。称为谓词的规则识别动作或情境,并将其与匹配的指令配对。给定一条指令和游戏历史,Reyn 学习从回放中预测控制器动作。这个模仿阶段同时训练策略网络、交叉注意力适配器和原始文本编码器。

当被要求“抓他”时,它尝试了更多抓取,但很少命中。然后我们使用 RL 来奖励成功命中的抓取。

RL 还让我们可以奖励击中对手或到达请求的平台。它让模型练习标注回放中代表性不足的行为,例如移动到平台。模仿将指令与动作连接起来;RL 改善这些动作达成的效果。

我们在 Reyn 4C 中开发了游戏玩法栈。在模仿学习之后,我们冻结了 1000 万参数的游戏玩法策略,并用 RL 训练其交叉注意力适配器、指令嵌入、状态适配器和嘲讽头。状态适配器读取 16 个游戏特征;嘲讽头添加一个冻结策略无法产生的输入。此阶段训练了约 220 万参数。没有指令时,操控组件被绕过。

我们使用近端策略优化(PPO)训练这些部分。Kullback–Leibler(KL)散度衡量两个策略在同一游戏情境下对动作分配概率的差异程度。我们使用 KL 惩罚来抑制在学习请求行为时对无指令策略的大幅偏离。专家学习指令组,然后通过蒸馏将它们学到的内容合并到一个模型中。随后 Reyn 4C 模型接受了跨全部六个阶段的联合 RL 轮次。

对于 Reyn 26C,我们保持这些游戏玩法权重固定,仅微调文本路由器以处理全角色名单的请求,包括同一招式的不同表达方式。它学习词语所指的是哪个受支持的指令。这种监督训练与教授游戏玩法响应的 RL 是分开的。

模仿 操控 RL 路由器拟合 数据 / 固定规则 操控 RL 期间固定 游玩时所有参数保持固定。 每次请求一次 每个游戏帧 你的请求 “去左边平台。” 文本路由器 监督语言训练 释义 → 指令含义 解析指令 含义 + 角色 + 舞台 指令 ID 查找指令 token 学习到的指令 token … 或固定回退编码 游戏状态 加上上一个动作 帧编码器 游戏状态 → 特征 因果 Transformer 最近的游戏历史 变为隐藏状态 隐藏状态 h 游戏特征 位置、间隙、伤害、… h 操控路径 路由操控输入 指令 token · 指令 ID · 隐藏状态 h · 游戏特征 以下每个分支标明其模块读取的信号。 token + h ID + h + 游戏特征 ID + h + 游戏特征 交叉注意力 29.6 万 参数 添加残差 状态适配器 学习到的 ID 嵌入 添加残差 嘲讽头 学习到的 ID 嵌入 仅嘲讽指令 残差 残差 h 条件隐藏状态 动作头 按键,然后摇杆 嘲讽门控 控制器动作 嘲讽动作 门控时 无指令或取消:两个残差均为零;h 原样到达动作头。 基础策略:编码器、Transformer 和动作头共 1000 万参数。 预训练文本编码器离线构建初始指令 token。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →