
前Firebase和JAX负责人发布KradleBench,在Minecraft中评测多智能体AI
来源标题:KradleBench: Multi-agent AI evals in Minecraft
James和Kemal(曾分别领导Firebase与TensorFlow/JAX)团队发布KradleBench,在Minecraft世界中评测多智能体AI。该基准环境具备多智能体、动态变化和实时性三个特点,人类、其他AI可同时追求各自目标,衍生出协作与冲突场景。团队称目前一名熟练人类玩家排名第一。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
HN 的各位好——我是 James,这位是 Kemal。我们俩过去分别领导过 Firebase 和 Tensorflow/JAX。HN 在我(James)的职业生涯中占据着特别重要的位置,如果没有它,我走过的路会截然不同。谢谢大家!我们团队发布了一个 benchmark:KradleBench。我们在 Minecraft 世界里测试 AI。1. 这些世界是多智能体的。人类和其他 AI 也在其中,而且往往在追求各自的目标。协作与冲突能力正是由此自然产生的。2. 世界是动态的。它们不断变化,这意味着智能体需要做出反应。“Capture the Flag”只有一个获胜条件,但达成的方式有很多种。这催生了许多涌现式的、富有创意的策略。3. 世界是实时的。它们不是回合制的,不会等 AI 想完再继续。大自然在人类身上平衡了速度与智能,我们也可以在 AI 身上理解这一点。这一切的底层是 Kradle,一个用于测试和理解智能的平台。它就像一个培养皿,任何类型的智能(LLM、World Model、人类)都可以在这里被比较,并生成有用的信息来改进现有系统,无论是能力方面还是安全方面。目前的一些发现:- 一位熟练的人类曾排名第一,直到昨天 Astra 6.2 超越了他们。我们在单人任务上大幅落后,在多智能体任务上则更有竞争力- Astra 6.2 迭代策略的速度比 Fable 5.2 快 4 倍。Claude 系列倾向于深思熟虑并坚持既定策略。OpenAI 的模型则更偏向反应式和迭代式,这在多智能体、动态、实时的 eval 中对它们很有利。我们在所有顶级模型的页面上都放了视频,新模型发布时我们也会制作相应视频。在网站上注册,即可获取这些视频,并在平台开放时收到通知。感谢阅读,James & Kemal 评论 URL:https://news.ycombinator.com/item?id=50549500 点数:1
评论数:0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。