返回资讯中心
外部精选
软件工程
#开发者实时流

研究:多用户多智能体团队协作时性能显著下降

来源标题:Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams

在多用户共享有限API预算的场景中,对等协作的多智能体团队表现远逊于单一协调者。Claude Opus 5和Sonnet 5团队分别仅达到协调者47%和38%的成绩,且随团队从4人扩至16人,实际采取行动的智能体比例从66%降至10%。核心问题是智能体行动过少且过晚,难以主动安排任务顺序。

Hacker News 最新matt_d2026/11/12 · 5 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在API密钥环境中,每组由四名、八名或十六名研究员组成,共享有限的API token预算。值得注意的是,这些预算不足以覆盖所有人的工作。每位研究员给自己的agent分配一组任务队列,并附上每项任务的截止时间及逾期后果的背景信息,例如即将到来的论文截止日期或周末后的发布评审。Agent需要取消或缩减任务,以确保部分工作能够完成。我们构建了25个场景,变化用户及其任务。我们发现,对于Claude Opus 5和Claude Sonnet 5,对等团队分别达到协调者性能的47%和38%(分别为最优结果的30%和12%,而协调者为64%和32%)。

多agent团队的主要问题在于agent行动过少且过晚。该环境是动态的,因此agent需要主动安排任务顺序。仅仅允许一个胜算渺茫的“英雄式”运行继续下去,就可能耗尽剩余时间并导致任务错过截止日期。事实上,许多agent从不采取行动,而且随着团队规模扩大,更多agent选择袖手旁观:从四个到十六个agent,曾经采取过行动的agent比例,Sonnet 5从66%降至10%,GPT-5.6-sol从82%降至25%。GPT和Qwen的agent还会未经询问就取消或停止其他用户的任务,每个episode发生3.9至7.1次,而Sonnet 5为0.59次,Opus 5则从未发生。这些未经同意的取消并未降低团队结果,因为取消低价值任务正是环境所要求的,但它们仍然不可取,因为它们在没有得到其他用户同意的情况下终止了该用户的工作。在agent未经询问就取消或缩减其他用户任务的episode中,团队得分通常高于同一场景下未发生此类行为的episode。但这揭示了评分系统的局限性:它只看已完成任务的总价值,而不看是否有人工作被破坏或是否得到同意。最后,agent的隐含优先级因模型而异。例如,Claude Opus 5在用户之间分配结果比Claude Sonnet 5和GPT模型更均匀(图3)。

在个人助理环境中,用户群体将共享的规划任务委托给自己的助理:团体订餐、预付预订或旅行预订,并共享预算。在每个场景中,一位用户提出针对性请求,我们称之为ask:要么是安全约束,要么是利他请求。重要的是,这些请求要求agent以合理方式偏离默认行为。例如,一位患有乳糜泻的用户要求两份不含麸质的配菜而非主菜。我们通过最终订单或预订是否满足ask来衡量成功。在25个场景中,协调者满足ask的频率大约是对等团队的两倍。

尽管ask通常会在群体内传达,但主要问题是竞态条件:提交订单的agent往往在读取完发送给它的所有消息之前就提交了。在所有场景和模型中,94–99%的episode中ask被发送给了最终下单或预订的agent,但在提交时该ask仅在其上下文中的47–67%(图4)。有趣的是,即使ask在上下文中,也只有56–68%的episode遵守了它,而当不在上下文中时为19–36%。团队还倾向于在共享购物车或预订中覆盖彼此的请求:65–77%的团队episode至少包含一次违背ask的编辑。我们在论文中也包含了GPT-5.6-sol和GPT-5.6-terra的结果。

最后,agent有时会对其信息不支持的其他人员做出断言。略超过一半的Claude团队episode包含至少一次此类捏造(Opus 5为58%,Sonnet 5为53%,由Claude Opus 5评判),而单个agent在17–20%的episode中会这样做。这源于信息的分割方式。每个agent只看到自己用户的备注,却必须谈论所有人的订单,因此agent会填补空白:它们假设餐桌想要自己用户想要的东西,把一个用户的备注附到另一个用户身上,或者说某个用户同意了其从未说过的事情。

我们测试了针对性改动(如增加指令或设置具有决策权的领导agent)能否弥合这些差距(图5)。在API密钥环境中,一个独立的团队领导agent(被指示优先处理高价值任务并充分利用预算)弥合了协调者与对等团队之间的差距。然而,团队领导在个人助理环境中没有帮助。在那里,我们最好的缓解措施是平台守卫,在提交agent读取完所有待处理消息之前阻止结账;它挽回了73%(Opus 5)和62%(Sonnet 5)的失败episode。有效的修复因环境而异,这表明多用户、多agent的失败原因多样。我们在论文中更深入地讨论了缓解措施。

多用户、多agent系统已经出现。例如,Instinct最近发布了其Trusted Person Network,其中每个用户的助理可以与其他用户的助理对话,代表他们协调计划。类似的协调问题也可能出现在单用户场景中,当一个人将不同但相交的任务委托给多个agent时,例如运行八个Claude会话在同一代码库中构建功能。我们研究的核心问题是,多个agent可能在追求不同目标的同时,通过共享环境或资源进行交互。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →