
研究显示AI基准测试饱和速度加快,SatBench整体解决率已达63%
来源标题:SatBench a Benchmark of AI Benchmarks
基于Benchmark Almanac的两项分析显示,AI基准测试被消耗的速度正在加快。SatBench追踪的173个基准中已有109个被解决,整体解决率达63%,而2023至2025年初这一比例仅约30%。新基准发布一年内被解决的比例从2023年的17%升至2025年的43%,达到85%解决率的中位时间从约20个月缩短至约14个月。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
对 AI benchmark 如何被用尽的两项分析,基于 Brian Zhou 的 Benchmark Almanac(GitHub)。数据截至 2026 年 11 月 14 日。 每个数字都来自 almanac 自有的 TypeScript 数据层,因此与网站一致。每个文件夹都有一个 summary.md,包含完整发现与注意事项,以及一个 scripts/ 文件夹,可重建每张图表。 SatBench 目前为 63%:其 173 个 benchmark 中有 109 个已被解决。从 2023 年到 2025 年初,它一直徘徊在 30% 左右,新 benchmark 的加入速度与旧 benchmark 被解决的速度大致相当,随后在最近 12 个月上升了 20 个百分点。它自己的第一版——截至 2023 年底已存在的 44 个 benchmark——在 2026 年 9 月突破了 85%,所以这个“benchmark 的 benchmark”已经饱和过一次了。 新 benchmark 被解决的速度逐年加快。发布后一年内被解决的比例从 2023 年发布的 17% 升至 2024 年的 30% 和 2025 年的 43%。达到 85% 所需的中位时间从约 20 个月降至约 14 个月。 OpenAI 在最多 benchmark 上率先突破 85%(20 个),Anthropic 在 2026 年领先(11 个)。当某实验室的模型是首个被记录达到 85% 或以上时,该实验室获得计分。原始计数会奖励那些报告大量冷门 benchmark(其他人都不运行)的实验室,因此该排行榜只统计多家前沿实验室都报告的 71 个 benchmark。 SatBench 何时会饱和?按最近 12 个月的速度,每月约有 5% 的未解决 benchmark 被解决。以今天的固定集合计算,大约到 2028 年将达到 85% 解决率。若新 benchmark 以 2025 年的速度加入,且解决速度继续加快,实时指数大约到 2030 年达到该水平。只有人们停止制作 benchmark,我们才会用完 benchmark。这是外推,不是预测。 更多图表:satbench/index/(指数、其对其他定义的稳健性以及预测)、satbench/items/(留出项与领域)和 satbench/labs/(谁解决了什么,以及实验室仍在主推多少个已饱和的 benchmark)。完整报告:satbench/summary.md。 图表:correlations/、saturation/、clusters/。完整报告:benchmark-analysis/summary.md。 许多“已解决”的 benchmark 依赖实验室自己的声明。最佳分数混合了测试框架、工具使用、best-of-n 和发布帖中的自我报告。仅统计独立运行,SatBench 为 24%,而非 63%。四次首次突破 85% 中有三次来自实验室自己的发布帖,而这 75 次中只有 10 次后来被独立运行匹配。 2025 年之前的数据很稀薄。2023-24 年只有 43 篇发布帖,而此后每年约有 230 篇,因此早期数字应视为粗略。 分数网格很稀疏。大多数模型没有在大多数 benchmark 上被评分(聚类分析使用的矩阵填充率为 40%),而且排行榜使用不同的测试框架。 近期 benchmark 被低估。一个 benchmark 只有在被 10 篇发布帖提及后才会进入 SatBench,这需要数月时间,因此 2026 年发布的 benchmark(大多未解决)尚未全部计入。 预测假设剩余的 benchmark 不比已解决的更难。 每个 summary.md 列出了更多注意事项,SatBench 的 summary.md 还列出了 almanac 中可能值得核查的数据错误。 pip install -r requirements.txt satbench/scripts/run.sh benchmark-analysis/scripts/run.sh 每个 run.sh 都会克隆其图表所用提交处的 almanac,用 Node 22.18+ 导出网站的数据层,并原地重绘图表。在这些提交处重新运行,图表与已发布的图像一致。详情见每个文件夹中的 scripts/README.md。 该仓库不包含任何 almanac 数据。almanac 的代码采用 MIT 许可证,但其数据没有单一许可证:每个来源保留自己的条款,有些是非商业性的(SWE-bench 排行榜为 CC BY-NC 4.0,MathArena 的数据集为 CC BY-NC-SA 4.0)。脚本从 almanac 下载数据,而不是再分发数据。在复用任何衍生数据之前,请参阅 almanac 的 License 部分。 致谢:数据来自 Brian Zhou 的 Benchmark Almanac,包括 Epoch AI Benchmarking Hub(CC BY 4.0)、官方排行榜(各排行榜制作者)以及 AI 实验室的发布帖。Artificial Analysis 的分数因条款限制未包含在内。 本仓库中的分析、图表和代码以 CC0 1.0 发布。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。