
Anthropic发布Claude Fable 5.2,编码基准超GPT-6 Astra但单价更低
来源标题:Claude Fable 5.2 vs. GPT-6 Astra: A lower list price didn’t mean a lower bill
Anthropic于11月9日发布Claude Fable 5.2,在FrontierCode 2.0和FrontierSWE v2两项编码基准上得分均高于OpenAI的GPT-6 Astra,且标准API价格更低(输入每百万token 8美元、输出40美元,Astra为10美元和50美元)。但文章指出,按任务计费才是关键,Anthropic模型以往消耗的token更多,低价未必带来低账单。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Anthropic 将其新模型 Claude Fable 5.2 定位为面向高要求的编程和技术工作。Anthropic 于 11 月 9 日发布 Fable 5.2,并报告其在两项编程基准测试中的得分高于 OpenAI 的 GPT-6 Astra。Fable 5.2 的标准 API 价格也更低。
Anthropic 的发布基准显示,Fable 5.2 在 FrontierCode 2.0 上以 49.1% 对 42.8% 领先 Astra,在 FrontierSWE v2 上以 69.9% 对 65.5% 领先。Fable 的 49.1% 是在 X high effort 下取得的。在 High(Claude API 上的默认设置)下,它的得分为 45.3%。基准测试的领先并不总能延续到实际工作中。
成本方面比价目表要复杂。Token 是模型读取和写入的文本块,AI 公司按 token 计费。按标准 API 价格,Fable 5.2 每百万未缓存输入 token 收费 8 美元,每百万输出 token 收费 40 美元。OpenAI 于 9 月发布 GPT-6 Astra,标准 API 价格为每百万未缓存输入 token 10 美元、每百万输出 token 50 美元。“真正重要的是每项任务的成本,”OpenAI 总裁 Greg Brockman 在 Astra 发布会上表示。两个 API 都将推理 token 作为输出计费,并对缓存输入设有单独费率。
以我的经验,Anthropic 的模型使用的 token 比 OpenAI 的更多。我对这一定位进行了实测,让 Fable 5.2 与 Astra 在模拟真实开发者工作的任务上同场竞技。
测试
我让两个模型在相同的三项任务上各运行一次,均通过各自厂商的 API、使用默认设置。每项测试满分 50 分,我用脚本为所有答案评分。以下是测试内容:
- Bug 修复:我在一个 2,600 行的计费代码库中植入了 10 个 bug,并写了一份描述 10 个客户投诉的支持工单。工单中对原因的猜测是错误的,代码库自带的两项测试也是错的,还有一个 bug 只有在另一个 bug 修复后才会显现。
- 代码审查:我在一个欧盟发票软件包中植入了 45 个缺陷,涉及 27 个国家的 VAT ID 校验、IBAN 规则、欧洲央行支付日历,以及 50 个地区的日期格式。模型必须用一个代码会出错的输入来证明每个缺陷,并指出正确答案。误报会扣分。
- 代码编写:模型从零编写相同的辅助函数,包括 27 个国家的 VAT ID 校验、34 个国家的 IBAN 检查、支付日历和长日期。
Bug 修复
Fable 5.2 和 Astra 都修复了全部 10 个 bug,并通过了全部 50 项隐藏检查,且都在 12 轮内完成(轮数相同让我感到意外)。
差别在于每个模型为此花费了多少。Fable 5.2 使用了超过 17,000 个推理 token,而 Astra 只用了 819 个(哇)。Astra 在大约两分钟内通过检查,估计成本为 98 美分。Fable 5.2 耗时超过五分钟,估计成本为 2.51 美元。
数据如下:
- Fable 5.2:12 轮,输入 696,863,输出 36,135(推理 17,387),2.51 美元,326 秒。
- Astra:12 轮,输入 231,854,输出 6,823(推理 819),0.98 美元,122 秒。
代码审查
这是唯一一项得分不同的测试。Fable 5.2 得 49 分,Astra 得 45 分。Fable 5.2 证明了 45 个缺陷中的 44 个,且在 71 项发现中没有任何误报。Astra 证明了 41 个,并错误地将一个西班牙 ID 判定为有效。Astra 漏掉了西班牙、爱尔兰和卢森堡校验位规则中的缺陷。两个模型都漏掉了同一个西班牙缺陷:一个 23 字母查找表中有两个字母被互换。
Fable 5.2 的彻底性是有代价的。它的成本是 Astra 的六倍多,耗时是 Astra 的四倍多。如果你的代码处理发票(或简单审批),审查漏掉的一条校验规则就可能导致真实发票被拒,因此 Fable 5.2 多出的四分或许值得更高的价格。对于例行审查,Astra 以 16% 的成本发现了 91% 的缺陷。每个模型只运行了一次,所以四分的差距在另一次运行中可能发生变化。
数据如下:
- Fable 5.2:26 轮,输入 2,207,564,输出 103,240(推理 77,641),6.05 美元,993 秒。
- Astra:12 轮,输入 192,018,输出 8,664(推理 4,307),0.95 美元,227 秒。
代码编写
两个模型都得了 50 分(满分 50)。它们都在没有依赖任何库的情况下,为 27 个国家的 VAT ID 和 34 个国家的 IBAN 编写了可用的校验代码。两个模型在这方面都没有遇到困难。两者都在一次运行中通过了所有检查。
Astra 用了 23 轮,几乎与 Fable 5.2 的 24 轮相当。但 Fable 5.2 的成本仍是 Astra 的 2.3 倍,耗时是 1.7 倍,得分却相同。在这次运行中,多出的 token 并没有提高得分。
数据如下:
- Fable 5.2:24 轮,输入 1,495,712,输出 87,542(推理 47,458),4.83 美元,838 秒。
- Astra:23 轮,输入 460,271,输出 24,007(推理 9,328),2.06 美元,483 秒。
结果
测试Claude Fable 5.2GPT-6 Astra Bug 修复(满分 50)5050 代码审查(满分 50)4945 代码编写(满分 50)5050 总 token 输入 / 输出4,400,139 / 226,917884,143 / 39,494 估计成本13.39 美元3.99 美元 总时间2,157 秒832 秒 Fable 5.2 在代码审查上领先,在另外两项任务上与 Astra 打平。在这两项打平的任务中,其估计 API 成本是 Astra 的 2.4 倍(7.34 美元对 3.04 美元),耗时是 1.9 倍(1,164 秒对 605 秒)。
我怎么看?
对于这类任务,我会从 Astra 开始。它在 bug 修复和代码编写上的得分与 Fable 5.2 相当,估计成本约为后者的 41%,而且完成全部三项任务都更快。我会考虑用 Fable 5.2 做细致的代码审查,因为它在这项测试中多发现了三个缺陷。两个模型都有漏掉的缺陷。
Fable 5.2 的标准 token 费率更低,但在这三次运行中,它使用的 token 约为 Astra 的五倍。Brockman 关于每项任务成本的观点在这里得到了印证。
文章 Claude Fable 5.2 vs. GPT-6 Astra: A lower list price didn’t mean a lower bill 首发于 The New Stack。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。