
实测对比:Claude 单 token 更贵,但每次回答成本仅 Gemini 一半
来源标题:Claude: Pricier per token but Half the cost per answer
同一数据分析 Agent 在相同工具与评测下对比 Claude 与 Gemini,Claude 每次回答成本约为 Gemini 的一半。测试于 2026 年 10 月 26 日进行,每个模型跑 99 轮;Claude 准确率更高,p90 延迟快约 3 倍。作者称此前因 Claude 单 token 价格更高而未采用,有了自动评测后才得以按实际效果比较。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
背景设定 Claude 在 AI agent 场景下比 Gemini 更好吗?结果如下 差距从何而来:准确率、速度、成本 注意事项 我们在生产环境中要做的调整 我们在生产环境中为客户运行一个数据分析 agent。它回答诸如“哪些交易卡在第三阶段?”之类的问题。它不从头编写 SQL,而是调用 MCP server 上的工具来获取数据。这些工具读取一个语义模型,即每个指标的共享定义。 我们最初让这个 agent 跑在 Gemini 上,并且用了很长时间。我们考虑过 Claude,但它的每 token 价格更高,而且在无法衡量质量的情况下,我们没有理由多花钱。有了 evals 之后,情况变了:evals 是自动化检查,针对固定问题给 agent 的回答打分。我们第一次可以比较模型完成工作的好坏,而不是只看价目表。于是我们让同一个 agent 跑在 Claude 上看看。结果出乎意料。 我们用了唯一能定论的方式测试 Claude 与 Gemini 在 AI agent 上的表现。同一个 agent、同一套工具、同样的 evals,每个模型 99 轮,测试日期 2026 年 10 月 26 日。简版结论:对这个工作负载,Claude 更准确,p90 速度快约 3 倍(p90 指十轮中有九轮在该时间内完成),每轮成本约为一半。本文只讲结果。 对这个 agent 而言,是的。Claude 通过了 95% 的客户 evals,Gemini 为 82%;p90 耗时为 48 秒对 161 秒;每轮成本为 $0.067 对 $0.139。 三个真实用户问题并排对比。这里我们统计工具调用次数:即模型每次让 agent 运行一个工具,例如一次指标查询。 准确率。Gemini 在每次运行中都漏掉同样的两项检查,并且在营收与订单 intake 的对比上表现不稳定。这些正是测试前用户报告过的问题,说明 evals 捕捉到了真实行为。Claude 唯一稳定的失败是一个 eval 的匹配模式过窄;答案本身没问题。 速度。中位轮次耗时接近(14 秒对 16 秒)。尾部则不然。Gemini 会循环:每轮模型调用多 2.4 倍,其中大多是微小的 Flash Lite 路由步骤在反复绕圈。除此之外,在我们的 trace 中,单次 Gemini 3.8 Flash 调用耗时约为 Sonnet 5.5 调用的 2.6 倍。“解释一笔交易的推进过程”这一行同时体现了两种效应:40 次工具调用、209 秒,才达到 Claude 用 14 次工具调用、51 秒就识别出的阶段。 成本。Gemini 每 token 更便宜。但每轮成本是两倍,因为它每轮读取的输入多 3.7 倍,而且每次额外的模型调用都会重新读取整个对话。缓存对两者都有帮助:为 Claude 节省约 60%,为 Gemini 节省约 74%。即便如此,无缓存的 Claude($0.175)仍略高于有缓存的 Gemini($0.139),但远低于无缓存的 Gemini($0.536)。对 agent 来说,每 token 成本是错误的计量单位。每完成一轮的成本才是账单上体现的。这和我们关于 token 资本的教训相同:预算买的是答案,不是 token。 没有混合方案能胜出。成本拆解排除了“Gemini 负责路由、Claude 负责推理”的拆分方案。Haiku 5.5 已经比 Gemini 3.5 Flash Lite 更便宜,且只占 Claude 方案成本的 6%。Sonnet 5.5 是另外 94%,而且缓存已经开启。没有更便宜的部分可以替换进来。 我们正在将 agent 默认切换到 Claude:Haiku 5.5 负责路由和简单轮次,Sonnet 5.5 负责其余部分,开启缓存。我们原本以为只是确认更便宜的模型然后继续。结果反而是,更小的 Claude 模型犯的错误更少,完成任务所需的 token 也更少,因此也更便宜。这次测试把“我们假设这是对的”变成了可以拿给追问原因的客户看的数字。如果你要为自己的 agent 选模型,复制测试的形态,而不是复制赢家:同一个 agent、你已信任的 evals、真实价格,以及每轮的成本和延迟。 RevOS 为你的 agent 提供对 CRM、计费 and 产品数据的统一受治理视图,通过 MCP 提供。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。