返回资讯中心
外部精选
云计算
#容器平台#AI Models#Anthropic#Security#Software Development

Anthropic 发布 Claude Fable 5.2,拒答率下降、API 价格下调 20%

来源标题:Claude Fable 5.2 vs. Fable 5.1: Fewer refusals, with small savings on the login fix

Anthropic 称 Claude Fable 5.2 在早期测试中触发安全拦截的次数比 Fable 5.1 减少约 55%,网络安全场景减少约 60%,输出速度最多提升 30%。标准 API 价格降至每百万输入 token 8 美元、每百万输出 token 40 美元,均比 Fable 5.1 低 20%。

The New StackJessica Wachtel2026/11/14 · 3 天前20 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Anthropic 的 Claude Fable 5.2 承诺更少的拒答和更低的 token 价格,但这些变化在我们的一对一编码对比中表现差异很大。

Anthropic 在防护拦截、输出速度和 API 定价方面将 Fable 5.2 与前代 Fable 5.1 进行了对比。该公司表示,在 claude.ai、Claude Code 和 Cowork 的早期测试中,Fable 5.2 触发的防护拦截总体比 Fable 5.1 少约 55%,在网络安全方面少约 60%。它还表示,Fable 5.2 的输出生成速度最高提升 30%,并列出标准 API 价格为每百万未缓存输入 token 8 美元、每百万输出 token 40 美元。这两个价格均比 Fable 5.1 的 10 美元和 50 美元低 20%。

我在三个开发者任务上对比了 Fable 5.2 和 Fable 5.1,并追踪了拒答、准确率、token、估算成本和耗时。该对比对每个任务或版本的每个模型只运行一次,包括 10 月份 Fable 5.1 的 webhook 结果。样本量很小,而且 API 运行使用的设置与 Anthropic 的防护测试不同。

测试

对于新的运行,我使用了 Anthropic 的 API,两个模型都采用默认的 High effort 设置,没有轮次上限,也没有回退模型。一个脚本根据我为测试创建的答案键对每次运行进行评分。美元数字是估算的 API 成本。Anthropic 对未缓存输入、缓存读取、缓存写入和输出分别定价。

  • Webhook 聊天:我复用了 10 月份首次在 Fable 5.1 上运行的 50 轮脚本化聊天。它模拟一位开发负责人构建一个小型 webhook 中继。聊天包含 25 条项目规则,其中 8 条后来发生变化,3 条只是隐含的。最后,模型编写配置和代码,然后参加一个八题的回忆测验。
  • 签名检查器:我给每个模型一份书面规格,要求编写验证签名 webhook、拒绝重放并对发送方限流的代码,然后发送一个变更请求。一套隐藏的 50 项测试对最终代码输出进行评分。
  • 登录仓库修复:每个模型作为代理在一个小型登录库中工作,该库在密码、锁定、重置 token 和会话方面存在相互影响的 bug。该库还有一个错误的测试,模型应报告但不修改。

Webhook 聊天

在我用于对比的 10 月份 Fable 5.1 运行中,API 在 50 轮中拒绝了 34 轮。第一次拒答出现在第 5 轮,当时我要求模型从环境变量中读取中继的目标 URL。在那次 10 月的运行中,我将提示保留在聊天历史中,并丢弃了被拒绝的模型响应。Fable 5.1 还拒绝了最终代码和测验,因此这两项均得零分。任务是构建一个普通的后端中继。

第一次拒答出现在第 5 轮,当时我要求模型从环境变量中读取中继的目标 URL。

Fable 5.2 在没有拒答的情况下完成了相同的脚本。这给了我一次完整的运行来评分长对话回忆能力。它的代码使用了所有八条规则的最新版本(这些规则在对话中途发生了变化),在测验中,它对三个没有答案的问题回答了“unknown”。Fable 5.2 没有用猜测来填补空白。

数据: • Fable 5.2:50 轮,输入 298,709,输出 41,828(推理 28,550),4.06 美元,427 秒。 • Fable 5.1(10 月):50 轮中 34 轮被拒,没有代码或测验答案。

签名检查器

Fable 5.1 在不到一秒内拒绝了该测试的两轮,API 将两次拒答都标记为“cyber”。规格要求编写验证签名 webhook、拒绝重放并对发送方限流的代码。API 在两轮中均未返回输出。Anthropic 表示,良性的安全工作可能触发其 cyber 分类器。

Fable 5.2 接受了相同的规格,处理了变更请求,并通过了全部 50 项隐藏测试,包括时间戳、轮换密钥和重放的边缘情况。

数据:

  • Fable 5.2:2 轮,输入 21,299,输出 26,167(推理 18,407),1.22 美元,253 秒。
  • Fable 5.1:2 轮,均被拒绝,报告输入 token 3,206,输出 token 0,根据 Anthropic 对输出前 cyber 拒答的计费规则为 0.00 美元,2 秒。

登录仓库修复

这是两个模型都完成工作的唯一测试,展示了在排除拒答因素后它们的对比情况。模型一直获得满分,所以我加大了测试难度并重新运行了两次。以下是测试之间的差异:

  • 版本 1:该库在四个模块(处理密码哈希、锁定、重置 token 和会话)中存在 bug。它还有一个错误的测试。
  • 版本 2:我添加了一个带有自身 bug 的一次性代码模块,并收紧了现有模块中的规则。用户名必须在 Unicode 形式之间匹配,会话必须处理倒走的时钟。
  • 版本 3:我添加了一个必须脱敏密钥的审计日志和一个限流器。这两个模块都没有附带任何测试。

模型在登录仓库修复的所有三个版本上打成平手。两者在每个版本上均获得 50/50 的分数,修复了评分器覆盖的 bug,并报告了错误的测试而没有修改它。

Fable 5.1 在登录仓库修复上从未拒答,尽管该任务涉及密码、锁定和重置 token。

在三个版本中,将总输出 token(包括推理)除以总耗时,Fable 5.2 约为每秒 107 token,Fable 5.1 为 82。耗时包括整个任务运行。Fable 5.2 在每个版本上用了四轮,而 Fable 5.1 分别用了 7、21 和 25 轮。Fable 5.2 在每个版本上也产生了更多的推理 token。

Fable 5.2 更快地完成了前两个版本,且估算成本更低。在第三个版本上,它耗时更长且成本更高。

数据:

  • 版本 1
  • Fable 5.2:4 轮,输入 16,149,输出 4,502(推理 1,178),0.27 美元,43 秒。
  • Fable 5.1:7 轮,输入 33,935,输出 4,761(推理 1,149),0.36 美元,52 秒。
  • 版本 2
  • Fable 5.2:4 轮,输入 24,081,输出 10,024(推理 4,887),0.56 美元,95 秒。
  • Fable 5.1:21 轮,输入 139,189,输出 9,475(推理 4,018),0.68 美元,118 秒。
  • 版本 3
  • Fable 5.2:4 轮,输入 34,269,输出 17,964(推理 10,578),0.96 美元,166 秒。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →