返回资讯中心
外部精选
软件工程
#开发者实时流

前Firebase和TensorFlow负责人推出KradleBench,在Minecraft中评测多智能体AI

来源标题:Show HN: KradleBench – Multi-agent AI evals in Minecraft

James和Kemal(曾分别领导Firebase和TensorFlow/JAX)团队发布KradleBench,在Minecraft世界中测试多智能体AI。该基准的世界是多智能体、动态且实时的,能考察协作、冲突与创造性策略;背后平台Kradle可对比LLM、世界模型和人类等不同智能类型。目前已发现一名熟练人类排名第一。

Hacker News 最新jamest2026/11/18 · 今天5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Hi HN——我是 James,这位是 Kemal。我们俩过去分别领导过 Firebase 和 TensorFlow/JAX。HN 对我(James)的职业生涯影响特别大,如果没有它,我走的路线会明显不同。谢谢!我们团队发布了一个 benchmark:KradleBench。我们在 Minecraft 世界里测试 AI。

  1. 这些世界是多智能体的。里面还有人类和其他 AI,它们往往在追求自己的目标。协作与冲突的能力就自然从这一属性中产生。

  2. 世界是动态的。它们不断变化,这意味着 agent 必须做出反应。“Capture the Flag”只有一个获胜条件,但达成方式有很多种。这催生了许多涌现出来的、富有创意的策略。

  3. 世界是实时的。它们不是回合制,不会等 AI 思考完。大自然在人类身上平衡了速度与智能,我们也可以在 AI 身上理解这一点。

这一切的底层是 Kradle,一个用于测试和理解智能的平台。它像一个培养皿,任何类型的智能(LLM、World Model、人类)都可以在这里被比较,并生成有用的信息来改进现有系统,无论是能力方面还是安全方面。

目前的一些发现:

  • 一位熟练的人类曾排名第一,直到昨天 Astra 6.2 超越了他。我们在单人任务上输得很惨,在多智能体任务上则更有竞争力。

  • Astra 6.2 迭代策略的速度是 Fable 5.2 的 4 倍。Claude 系列倾向于深思熟虑并坚持既有策略。OpenAI 的模型则更偏反应式和迭代式,这在多智能体、动态、实时的评测中很有优势。

我们在每个顶级模型的页面上都放了视频,新模型发布时我们也会制作视频。到网站上注册,即可获取这些视频,并在平台开放时收到通知。

感谢阅读,James 和 Kemal

评论 URL:https://news.ycombinator.com/item?id=50550700 点数:1

评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →