
分析指出 Opus 5.5 与 Qwen4 Max 成本差异取决于推理档位
来源标题:Opus 5.5 is not more expensive than Qwen4 Max
模型定价对比需考虑推理档位,单看成本数字会得出误导性结论。Qwen4 Max 在 Max 推理档下每任务成本 $3.27,Claude Opus 5.5 为 $10.04,但 Opus 5.5 在 Medium 档下比 Qwen4 Max 更便宜且得分更高。多数模型提供四到六档推理级别,因此「哪个模型更贵」没有固定答案。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为什么推理档位毫无意义,它们如何成为网上关于模型定价、token 效率等无数争论的源头,以及我们应该转而基于什么来做比较。
今天,Qwen4 Max 公开发布,随后被收录到 Artificial Analysis 上。直白地看图表,阿里巴巴最新的 2.4T 模型得分为 42.9,每任务成本 3.27 美元,随便挑一个例子对比,Claude Opus 5.5 是 10.04 美元,前者便宜了相当多。
要是成本只有三分之一那倒不错,但事实并非如此。那些成本数字是基于 Max 推理档位的。请注意,这与阿里巴巴用在 Qwen4 Max 名称里的“Max”无关——我确信这不会额外造成任何混淆。无论如何,大多数模型,包括来自阿里巴巴和 Anthropic 的模型,都不止一个推理档位,通常是四到六个:
“模型 A 比 B 贵吗?”没有明确的肯定或否定答案,因为这取决于所选的推理档位。举例来说,Opus 5.5 在 High 档位下,每任务平均定价落在 Qwen4 Max 的区间内,但得分高出九分。而在 Medium 档位下,Opus 5.5 既更便宜,得分也仍然更高。问题在于,如果我们每次只比较 Max 推理档位,这一点就很容易被忽视。
努力档位只是营销手段,是一系列标签,只有在单个模型内部才具有相对一致性。其他模型,即使是同一实验室的、同一预训练或“代际”的(下文详述),在相同推理档位下也可能产生截然不同的结果,包括相对提升幅度。仅仅因为 Model X 5.1 在 High 档比 Medium 档表现略好,并不意味着 Model X 5.2 在 Medium 档就一定不会比 High 档更好。我们过去见过这种情况:Opus 4.7 在相同推理档位下倾向于使用比 Opus 4.6 更高的平均预算,从而带来更好的平均成功率,但在更高努力档位上的成本/性能略有退步。更近的例子是 Gemini 4 系列,这些模型在努力档位上走钢丝,提升和退步的方式通常难以预测。
一个模型上的 High 推理档位,可能比另一个模型上的 Low 或 Medium 档位更便宜、更快和/或更省 token。即使在同一实验室、同一代模型内部也是如此,更何况在现阶段,版本编号和命名主要是一种市场定位。如果 OpenAI 明天根据数据决定把据传即将发布的 Astra 命名为“GPT-7 Astra Pro MaxS”,他们可以而且会这么做,但这并不意味着该模型是一个全新的预训练,也不意味着一个假想中的 GPT-6.2 Sol 不可能基于一次更新、更先进的训练运行,而那次运行恰好也带来了更好的效率结果。这也部分回答了那个永恒的问题:“如果 Opus 5.5 更好更便宜,为什么还会有人用 Fable 5.1……”,不过我们还是回到正题。
在这方面,努力档位是个问题,因为它们经常被采用/扭曲,试图“标准化”模型之间的比较。让每个模型都处于 Max、High 或不同实验室之间相同标签的另一个档位,你就能得到公平的比较——这就是那个想法。不幸的是,你往往会得到相反的结果。过度概括地说,一个更先进的模型可能更省 token,在相似或更短的时间内以相似或更高的成功率完成同一任务,同时端到端总成本也更低。
如果你按这样一个任意标签来标准化,任何细微差别都会丢失。一个能力更强、且每百万 token 往往更贵的 LLM,在相同推理档位下可能会使用超出完成任务所需的 token,从而花掉实际上并不需要的钱,因而看起来比实际更贵。
Artificial Analysis 是了解模型在众多评估和视角(token 效率、吞吐量和延迟、成本)下表现的一个很好的第一站。不幸的是,他们的网站默认只显示他们能获得的任何模型的最高努力档位结果。这会导致混淆,因为在 Max 推理档位下,例如 Qwen4 Max 每任务平均成本 3.27 美元,得分 43,而 Opus 5.5 在 Max 档每任务平均成本 10.04 美元,得分 59。我又要问了,为什么你要用模型众多可用努力档位中的一个来命名你的模型,但这不是现在的重点。
考虑到得分,问题很快就显而易见了。如果我们按一个实际面向用户的指标(比如成本)来标准化,Opus 5.5 在 Medium 推理档位下每任务平均成本仅 2.45 美元,得分 48,以更低的平均成本获得了比 Qwen4 Max 更好的得分。看 token 效率、任务完成时间等方面也是类似情况。
在报道和讨论这些模型时,我们必须摆脱在模型之间比较努力档位的做法,因为这根本行不通。相反,应该按可测量、可比较的东西(如成本或时长)来标准化。
这张图提供了每任务平均成本落在设定范围内的模型,按得分排序。默认每个模型出现一次,处于范围内得分最好的努力档位设置。请注意,即使你有无限预算,许多模型上的 Max 档位也往往收益递减,在特定评估中甚至可能导致退步。Qwen4 Max 被标记为参考点。
基于成本比较,不管推理标签
如果我们从日产那里学到点什么,这一切都不必成为问题。是的,就是那个汽车品牌。他们的发动机编号 frankly 很巧妙。举个例子,拿经典的“VR38DETT”来说。听起来可能像胡言乱语,但是:
你看这多容易理解?如果我现在给你另一台发动机,比如“RB26DETT”,你会立刻明白它是一台 2.6 升发动机,同样有双凸轮轴、EFI 和双涡轮增压。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。