IBM 研究团队对比 CUGA、Hermes 与 Deep Agents 三种 agent harness

回到文章

同一模型，不同框架：CUGA、Hermes 与 Deep Agents——何时选择 CUGA？

企业文章 已发布 2026年11月3日 点赞 11 +5 Sami Marreed samimarreed 关注 ibm-research Anupama Murthi anupamamurthi 关注 ibm-research Vinod Muthusamy vinodmut 关注 ibm-research Ankita Naik ankita-naik 关注 ibm-research Segev Shlomov segevshlomov 关注 ibm-research Jayaram Radhakrishnan jayaramkr 关注 ibm-research Aminat A aadebiyi 关注 ibm-research Ayhan Sebin ayhansebin 关注 ibm-research Hamid Adebayo harmedox 关注 ibm-research Erez Bilgory erezbi 关注 ibm-research Asaf Adi AsafAdi 关注 ibm-research Jim Laredo laredoj 关注 ibm-research Merve Unuvar mrvnvr 关注 ibm-research

一项受控实验：同一模型，不同框架 结果 分数从何而来 框架掌控的每一步都是执行点 为什么选择 CUGA 何时选择其他方案 试用 CUGA

市面上有近 200 个 agent 框架可供选择。我们让其中三个使用同一个开放权重模型，并运行 90 个 AppWorld 任务，结果仅更换框架就把任务完成率从 30% 提升到 81%。对于企业用途，CUGA 还提供了本基准未测试的能力：由框架强制执行规则，以及在你自己的边界内部署。

awesome-agent-harness 和 best-of-Agent-Harnesses 等社区清单追踪了近 200 个框架，它们清楚地说明了一点：重要的是框架，而不仅仅是模型。在 best-of-Agent-Harnesses 引用的一项分析中，同一个 GLM-5.2 模型在 SWE-bench Pro 上的成绩从 23% 提升到 52%，而改变的只是框架。

因此，正确的问题不是“哪个框架最好？”，而是“哪个框架适合我的工作负载、搭配我的模型？”Nous Research 的 Hermes 专为常驻个人助理打造，LangChain 的 Deep Agents 则面向研究等长时间、多步骤任务。两者在这些工作上都很出色。

企业工作是另一回事。Agent 要操作业务系统，例如 CRM 和支付系统，并且必须遵守无论模型如何决策都成立的规则。CUGA（ConfigUrable Generalist Agent）是 IBM 的开源框架，正是为这项工作而构建，可搭配开放权重或托管模型，运行在你自己的环境中，包括主权云和气隙部署。为了衡量框架带来的增量，我们保持模型不变，只更换框架。

一项受控实验：同一模型，不同框架

我们在 AppWorld 上运行了 CUGA、Hermes 和 Deep Agents。AppWorld 是一个涵盖 9 个应用、457 个 API（例如电子邮件、支付和文件存储）的多步骤任务基准。这些应用是消费级应用，因此 AppWorld 只是一个代理：它测试的是企业自动化同样需要的一部分能力，例如登录、阅读 API 文档、分页获取结果，以及跨多个应用更改状态。每个框架都使用同一个开放权重模型 GLM-5.3-flash，在 30 个场景的同样 90 个任务上运行，每个任务尝试一次。所有运行都使用 Harbor 评估框架，我们的设置在 harbor-eval（我们的 Harbor fork）中公开。

结果

AppWorld，30 个场景中的 90 个任务，GLM-5.3-flash TGC：通过的任务数 SGC：三个变体全部通过的场景数 CUGA 81.1（73/90） 66.7（20/30） Hermes 46.7（42/90） 26.7（8/30） Deep Agents 30.0（27/90） 6.7（2/30） 图 1. AppWorld，30 个场景中的 90 个任务，每个框架均使用 GLM-5.3-flash。TGC：通过的任务数。SGC：三个变体全部通过的场景数。

如何解读。这并不是对 Hermes 或 Deep Agents 的定论。两者都不是为 AppWorld 这类多应用 API 工作而构建的，而这正是关键：框架必须契合任务。

最有用的数字是 SGC。一个场景只有在其三个变体全部通过时才算通过，因此 SGC 奖励的是一致性，而不是侥幸的一次运行。在这里差距更大：CUGA 为 20 个场景，Hermes 为 8 个，Deep Agents 为 2 个。

有三项限制适用。这是在一个基准上的 90 个任务样本，因此结果可能无法推广到其他任务。各设置并不完全相同（见上方的设置表）。而且这些运行没有使用策略，因此并未衡量策略执行。

分数从何而来

在 90 个任务的对比中，每次运行的模型都相同，因此差异来自框架。每个 CUGA agent 都运行同一个紧凑循环：准备、调用模型、执行、重复。同一个循环可以从一个拥有自己工具的 CugaAgent 扩展到一个通过 A2A 协调多个本地或远程 agent 的 CugaSupervisor。以下是 AppWorld 设置中运行的 CUGA 功能，按其作用分组：

借助这些功能，模型需要做的决策更少，框架能在错误影响结果之前捕获更多错误。

框架掌控的每一步都是执行点

框架控制的每一步，如上文列表中的那些，也是它可以检查规则的地方。

大多数团队会把业务规则（例如支付审批或将客户 PII 保留在组织内部）写入系统提示词。提示词是指令，不是强制执行。模型可能误读它，用户可能说服 agent 违背它，注入的消息也可能在任务进行中改变它。

CUGA 策略将这些规则从提示词中移出，放入框架中。我们在 ACM CAIS 2026 论文《Governance by Construction for Generalist Agents》（arXiv）中描述了这个策略层。策略在每次运行的四个点上起作用：

指导会引导模型，但审批和 ToolGuards 由运行时强制执行。将支付审批和 PII 处理等规则放在第二组，无论模型如何决策，它们都会生效。

你可以在 Policy Playground 中亲自看到差异，它向两个实时 agent 发送同一条消息，一个没有策略，一个有策略：

图 2. 对于“Pay everything I owe.”，没有策略的 agent 支付了 90 美元，其中包括一笔被拒绝的催收款项。有策略的 agent 将付款保留以待审批，然后只支付了应付的 10 美元。

为什么选择 CUGA

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）