研究：降低模型推理强度可在半数成本内保留八成得分

大多数前沿模型都允许你在提问时选择它们思考的力度，但更高的设置会增加每次运行的成本。默认情况下，我们通常以最高设置运行模型。在这篇文章中，我们衡量了不同推理级别下性能和成本的变化。在最低设置下，七个模型中有四个至少保持了其 Vals Index 得分的 80%，而成本仅为一半或更低。例如，Claude Opus 5.5 以 16% 的成本保持了 80% 的得分。

我们在 Vals Index 的八项基准测试上测试了来自七个 AI 实验室的顶级模型。每个模型以三种设置运行：其最低推理设置、一个中间设置，以及我们排行榜运行所使用的设置（通常是其最高设置）。在本文中，我们将最后一种称为排行榜设置。下图展示了 Vals Index 上全部三种设置的情况，从四个模型开始，模型图例补充了其余模型。同一张图也出现在 Vals Index 页面及其每个基准测试页面上。

准确率成本 对数刻度 模型：Claude Opus 5.5Gemini 4 ArgonGPT-6 AstraDeepSeek V4.1 FlashGLM 5.3Grok 4.7Muse Spark 1.3 指数成本包含 Code Migration。误差条显示 ±1 标准误。

关键要点 降低推理力度对成本的削减远大于对得分的削减。在最低设置下，七个模型中有四个至少保持了其得分的 80%，而成本仅为一半或更低。 在模型与基准测试的 56 种组合中，有 22 种情况下较低设置以更低的成本获得了与排行榜设置一样高的得分。在这些情况下，排行榜设置花费更多却没有获得更高得分。 即使有完美的后见之明，为每个任务选择得分最高的设置也仅增加 6.0 分。而且它的成本仍然高于在所有地方都使用最低设置，为排行榜成本的 64%，而后者为 29%。

降低推理力度对成本的削减远大于对得分的削减 保持的得分与支付的成​​本Vals Index 得分与成本在较低设置下，占每个模型排行榜设置的百分比 最低设置中间设置 得分，占排行榜设置的百分比 成本，占排行榜设置的百分比 Gemini 4 Argon低 vs 高 99% 84% DeepSeek V4.1 Flash低 vs 最高 89% 50% GPT-6 Astra低 vs 最高 88% 18% Grok 4.7低 vs xhigh 86% 16% GLM-5.3低 vs 最高 81% 53% Opus 5.5低 vs 最高 80% 16% Muse Spark 1.3最低 vs xhigh 77% 29% 虚线标记排行榜设置。位于 100% 的条形表示与该设置相同的得分或成本。

在最低设置下，七个模型中有四个至少保持了其 Vals Index 得分的 80%，而成本仅为一半或更低。Claude Opus 5.5 以 16% 的成本保持了 80% 的得分，Grok 4.7 以 16% 的成本保持了 86%。Gemini 4 Argon 以 84% 的成本保持了 99% 的得分。在中间设置下，Gemini 4 Argon 的得分略高于其排行榜设置，成本为 78%，这比它自己的最低设置还便宜。

在 56 个模型与基准测试配对中，有 22 个配对里更便宜的设置获得了与排行榜设置一样高的得分。在我们测试的更便宜设置中，没有一个显著高于排行榜设置，有 33 个显著低于排行榜设置。在整个 Vals Index 上，没有模型在最低设置下达到其排行榜得分。

相同或更高得分，更低成本20%30%50%100%-15-10-50成本，占排行榜设置的百分比得分相对排行榜设置的变化，分Gemini 4 Argon，Vals Index：-0.5 分，成本 84%DeepSeek V4.1 Flash，Vals Index：-6.7 分，成本 50%GPT-6 Astra，Vals Index：-7.5 分，成本 18%Grok 4.7，Vals Index：-8.6 分，成本 16%GLM-5.3，Vals Index：-11.8 分，成本 53%Opus 5.5，Vals Index：-13.7 分，成本 16%Muse Spark 1.3，Vals Index：-12.6 分，成本 29%OpusGrokAstraMuseDeepSeekGLMGemini 在 Vals Index 上，7 个模型中有 0 个在其最低设置下以更低成本达到与排行榜设置一样高的得分。在两种设置和所有基准测试中，较低设置在 22 种情况下以更低成本达到同样高的得分，没有一个与排行榜设置有显著差异。

事后看来，这些模型相对其排行榜设置获得了中位数 6.0 分的提升，成本中位数为 64%。真实系统必须在看到结果之前做出选择，因此其收益会更小。

有些任务需要比其他任务更多的推理，因此为每个任务选择设置的系统可能胜过任何单一设置。为了找出这类系统最多能获得多少收益，我们回顾了结果，并为每个任务选择了获得最佳得分的最便宜设置。

此图使用每个任务的结果来选择其得分最高的设置。在看到这些结果之前做出选择的系统得分会更低。得分轴从 40 开始。

从最低设置到最高设置的得分增长因基准测试而异。Legal Research 的中位数增长为 19.2 分。EMB、HLAB 和 Finance Agent 2.1 各自的增长均不到 6 分。

得分变化，最高力度减去最低力度

我们运行了 DeepSeek V4.1 Flash、Grok 4.7、Muse Spark 1.3、GPT-6 Astra、Claude Opus 5.5、GLM 5.3 和 Gemini 4 Argon，每个模型均以其最低推理设置、一个中间设置及其排行榜设置运行。排行榜设置对于 DeepSeek、Astra、Opus 和 GLM 为 max，对于 Grok 和 Muse 为 xhigh。Gemini 的排行榜运行未设置推理力度级别，因此我们使用了其 high 设置。我们在构成 Vals Index 的八项基准测试上运行了它们：Finance Agent 2.1、EMB 1.1、Terminal-Bench 4、Vibe Code Bench、Code Migration 1.1、Legal Research、HLAB 1.1 和 Tax Agent Bench。

每种设置都在每个基准测试的同一固定子集上运行，约为一半的任务。我们选择每个子集，使其对模型的排名顺序与完整基准测试相同。对于大多数模型，排行榜设置得分是已经在我们排行榜上的运行结果，在该子集上重新评分。在不存在此类运行的情况下（包括 Gemini 的所有运行），我们重新运行了排行榜设置。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）