GDPx 基准发布：衡量前沿模型在最有价值领域的通用智能体能力

45 3 分享 GDPx 是一个覆盖前沿智能最具价值领域的基准测试，目标是成为衡量通用 agentic 能力的全球最佳基准。

我们认为，AI 的第一万亿美元收入将集中在能够以高 ROI 部署前沿智能的行业，而不会广泛扩散到整个经济体中。因此，基于 GDP 占比或 SOC/O*NET 职业分类体系来构建通用基准是一个错误。如果你的目标是追踪前沿模型的进展，就应该聚焦于它们将产生最大影响的领域。

具体而言，我们覆盖以下领域：

并有意放弃政府、房地产和保险等行业。

GDPx 是真正的前沿级基准：即使是最好的模型也只得分 12%。

来源：GDPx

值得强调的是，Opus 5.5 和 GPT-6 Astra 等模型因其安全分类器而压低了总分。如果排除 cyber、biology 和 alignment——安全分类器有时会触发的三个领域——你会得到以下结果。

来源：GDPx

我们惊喜地发现，这一排名与我们对该模型的主观印象高度吻合。OpenAI 和 Anthropic 总体上占据排名前列，而 SpaceXAI、Meta 和开放权重模型都明显落后。Gemini 4 Carbon 是 Google 的真正进步，也是唯一与 Opus 和 Astra 处于同一水平的模型。等 Carbon 正式开放后，人们的反馈会很有意思。

我们认为，在选择特定用例的最佳模型时，安全分类器的相关性被低估了。例如，Muse Wonder Full 实际上是当今可用的最佳 cyber 模型，且优势明显。

来源：GDPx

我们还普遍观察到，所有领先模型都存在明显的尖峰现象。

来源：GDPx

Opus 5.5 是最全面的模型，在量化交易、硬件设计和芯片设计方面胜出。Gemini 4 Carbon 是最佳 bio 模型（可能因为安全分类器较弱），并在软件工程方面险胜。GPT-6 Astra 在 RSI 上以明显优势获胜，同时也是材料科学的最佳模型。我们的金融和法律任务难度极高，基本上每个模型都恰好得 0 分。

有趣的是，如果只取单一模型家族，有时会看到非常相似的尖峰。

来源：GDPx

成本与性能的帕累托前沿也与我们对模型的一般使用体验相符：Luna 和 DeepSeek 争夺低端，Opus 赢得高端，OpenAI 占据中间。不过，Gemini 4 Carbon 的出现同样值得密切关注。

过去一年，领域特定基准有了显著改善，这主要归功于专业化 RL 环境初创公司的崛起。然而，OpenAI 的 GDPval（及其衍生版本如 GDPval AA v2.1）仍然是主要新模型发布卡上报告的最受欢迎的通用基准。尽管它发布于一年多前的 2025 年 9 月 25 日——在 AI 领域堪称永恒。GDPval 可能被宣传为“知识工作”基准，但当时 agents 甚至还不太存在。这对其任务设计产生了巨大影响，正如我们稍后将解释的，这使得 GDPval 在评估当今前沿模型时严重不足。

我们构建 GDPx 的目标是打造全球最佳的通用 agentic 能力基准。然而，项目一开始就很清楚，为什么我们至今没有看到一个合格的 GDPval 继任者。GPT-6 Astra 和 Opus 5.5 等模型已经在推动人类知识的边界。如果你想设计一个这些模型只能解决不到 20% 的金融或 cyber 任务，你需要真正的领域专业知识来确保任务因正确的理由而困难。许多流行基准通过发布完全不公平的任务来回避这个问题。这通常表现为评分器检查一些无法从任务描述或环境中推断出的要求。例如，一个编程问题可能要求模型修复一个人类工程师会认同有两种有效解决方案的 bug——一种使用“模块 A”，另一种使用“模块 B”。然而，设计不佳的评分器可能要求 AI 使用“模块 A”，并在 AI 选择“模块 B”时不公平地给予 0 分。修正所有这类问题后，基准往往最终饱和。

为你擅长的单一领域制作高质量任务已经够难了——实验室愿意为一个高质量任务支付 5000 美元以上是有原因的。找到一家在 AI 评估和足够多领域都具备足够专业知识、能够制作广泛基于 GDP 的基准的公司，简直不可能。

为了解决这个问题，SemiAnalysis 与各领域的专业化 RL 环境初创公司合作：

材料科学（ValenceForge、Emulated）

所有合作伙伴都经过了我们在方法论部分详述的严格 QA 流程。对于某些领域，我们有多个想要独家合作的合作伙伴，并运行了一个流程来选择任务质量最高的那个。

我们要向所有为 GDPx 做出贡献的合作伙伴致以衷心的感谢。他们是各自领域的最佳供应商之一，没有他们的帮助，就不可能创建如此广泛的基准。

此外，我们要感谢 Fireworks 为所有开源模型提供推理，Modal 提供运行我们任务所需的沙盒基础设施，以及 Abhijay Rana 帮助寻找一些合作伙伴并协助早期 QA。

需要明确的是，我们认为 GDPval 在其时代是令人印象深刻的，是第一个在如此广泛的任务范围内评估 AI 的基准。一个在 agents 崛起之前创建的基准在今天评估它们时表现不佳，这并不是 OpenAI 的错。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）