
Claude Fable 5.2 跑分与 Opus 5.5 相当,成本却高出近 4 倍
来源标题:Claude Fable 5.2 vs. Opus 5.5: Same scores at almost 4x the cost
实测显示,Anthropic 于 11 月 9 日发布的 Claude Fable 5.2 在多项任务上与 Claude Opus 5.5 得分相近,但成本接近后者的 4 倍。Fable 的标准 API 价格为每百万输入 token 8 美元、输出 40 美元,是 Opus(4 美元/20 美元)的两倍。Anthropic 在发布时反而建议多数编码和知识任务从 Opus 起步,称其为“最强的日常主力”。
以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Anthropic 于 11 月 9 日发布 Claude Fable 5.2,并称其在公司测得的几乎所有能力上都优于 Claude Opus 5.5。同一份公告中,它又建议大多数编程和知识类任务先从 Opus 用起,称其为“最强的日常主力”。我想弄清楚:一家公司为什么会劝用户别用自己最强的模型,以及更便宜的那个是否真的够用。
在 Anthropic 的编程基准上,Fable 5.2 在 FrontierCode 2.0 上以 Xhigh 强度运行得到 49.1%,而 Opus 5.5 在 Max 强度下为 45.5%。Anthropic 还报告称,Fable 在 High 强度下得分 45.3%,每任务成本约为那次 Opus 运行的一半。在 FrontierSWE v2 上,公司报告 Fable 为 69.9%,Opus 为 62.3%。Fable 的标准 API 价格是 Opus 的两倍:每百万未缓存输入 token 8 美元、每百万输出 token 40 美元,而 Opus 分别是 4 美元和 20 美元。
两倍的价格理应带来实质差别,所以我给两个模型各安排了三项编程与 agent 任务,测量它们完成得如何、用了多少 token、花了多少钱、耗时多久。我的测试规模远小于 Anthropic 的基准,既不能证实也不能推翻那些分数。
测试
每项测试我都通过 Anthropic 的 API 以默认设置把每个模型各跑一次,不设轮次上限。Anthropic 的 API 在 Fable 和 Opus 上的默认值并不相同:Fable 5.2 以 high 强度运行,Opus 5.5 以 medium 强度运行,因此这些结果反映的是开发者什么都不调时能得到什么。我用一个脚本给模型在每项测试中给出的每个答案打分。金额是根据报告的 token 用量估算的 API 成本。Anthropic 对未缓存输入、缓存读取、缓存写入和输出分别定价。
以下是我跑的测试:
- Cron 调度器:我给每个模型一份书面规格,要求写出在下一个计划任务到来时运行的代码,然后发去一个变更请求。我用一套隐藏的 50 项测试给最终代码打分。
- 发票仓库修复:每个模型作为 agent 在一个小型发票库中工作,库中存在相互影响的 bug,涉及舍入、折扣、税费和运费。库中还有一个错误的测试,模型应当报告它但不应修改它。
- 事故调查:每个模型使用终端,从日志、指标和部署记录中找出一次支付故障的成因。数据中包含诱饵部署和时钟错误的服务器。
两个模型在每项测试的第一个版本上都拿到了满分,打平,所以我把每项测试都加难,并各重跑两次。
Cron 调度器
这项测试检验模型能否把详细规格转化为正确代码,然后在吸收一个变更时不把它弄坏。以下是各版本之间的差异。
- 版本 1:规格涵盖标准 cron 调度,例如每 15 分钟一次,或工作日上午 9 点。
- 版本 2:我加入了“最接近 15 日的工作日”和“当月最后一个周五”这类规则,并且变更请求把两个字段的结合方式颠倒了。
- 版本 3:代码必须手动处理时区和夏令时,不能使用 Python 的时区库。
两个模型在三个版本上都是 50/50 满分。差别在于各自为此付出了多少工作量。Fable 5.2 在每个版本上写出的推理量都是 Opus 5.5 的两到三倍。额外的推理并没有在三个版本中的任何一个上提高 Fable 的分数。
在三个调度器版本合计,Opus 以 358 秒对 661 秒追平了 Fable 的分数,估算成本为 0.99 美元对 3.29 美元。
具体数字:
- 版本 1
- Fable 5.2:2 轮,输入 14,471,输出 18,732(推理 11,122),0.87 美元,170 秒。
- Opus 5.5:2 轮,输入 8,055,输出 9,431(推理 3,846),0.22 美元,80 秒。
- 版本 2
- Fable 5.2:2 轮,输入 20,215,输出 23,990(推理 14,627),1.12 美元,226 秒。
- Opus 5.5:2 轮,输入 14,090,输出 15,991(推理 6,695),0.38 美元,131 秒。
- 版本 3
- Fable 5.2:2 轮,输入 21,121,输出 28,254(推理 17,452),1.30 美元,265 秒。
- Opus 5.5:2 轮,输入 12,651,输出 17,205(推理 6,533),0.39 美元,147 秒。
发票仓库修复
这个找 bug 任务与 agent 每天为开发者做的工作类似。以下是我逐轮调整测试的方式:
- 版本 1:库中存在舍入、折扣、税费和运费方面的 bug,还有一个错误的测试。
- 版本 2:我加入了买二送一促销、按重量计费和退款,每项都带有自己的 bug。
- 版本 3:我加入了货币换算和发票编号,同样带有 bug。
这项测试产生了两个模型之间最大的成本与时间差距。两个模型在三个版本上都是 50/50 满分,修好了评分器覆盖的 bug,并报告了错误的测试而未修改它。Opus 5.5 在每个版本上用的推理 token 都更少。它每个版本都不到一分钟就完成,而 Fable 5.2 从约 1 分 46 秒到接近 4 分钟,三个版本合计成本是前者的八倍。
在这些运行中,Fable 的额外推理并没有提高它的分数。
具体数字:
- 版本 1
- Fable 5.2:4 轮,输入 17,585,输出 11,511(推理 5,909),0.58 美元,106 秒。
- Opus 5.5:4 轮,输入 10,585,输出 2,975(推理 519),0.09 美元,28 秒。
- 版本 2
- Fable 5.2:6 轮,输入 88,697,输出 25,980(推理 11,820),1.39 美元,223 秒。
- Opus 5.5:4 轮,输入 13,938,输出 4,457(推理 777),0.13 美元,39 秒。
- 版本 3
- Fable 5.2:4 轮,输入 29,660,输出 24,020(推理 14,022),1.18 美元,214 秒。
- Opus 5.5:5 轮,输入 24,208,输出 6,013(推理 1,178),0.17 美元,51 秒。
事故调查
这项测试更看重细致的挖掘而非快速写代码,所以我原本预计它会对 Fable 5.2 有利。
以下是我为每个测试版本所做的改动。
- 版本 1:故障数据中有诱饵部署,以及一台时钟慢七分钟的服务器。
- 版本 2:我加入了一个在事故中途被校正的时钟、重试的请求、一个压缩日志文件,以及重复的日志行。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。