返回资讯中心
外部精选
软件工程
#开发者实时流

Hystax测试发现Claude Code成本主要受缓存过期影响而非压缩

来源标题:Claude Code's API billing depends on how often the cache expires

Hystax团队用开源工具Kompressor测试发现,Claude Code的API费用主要取决于缓存过期频率,而非工具输出压缩。在89个任务的无压缩运行中,缓存过期33次,导致92.7万token被重写。Opus 5.5缓存读取约每百万token 0.20美元,占提示计费的92%至95%,而五分钟缓存条目写入费用为5美元,是读取的25倍。

Hacker News 最新MaxBozhenko2026/11/12 · 5 天前10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

HN 的朋友们好!我是 Max,Hystax 的 CTO。我们在开发工作中大量使用 Claude,同时也在想办法降低编码 agent 的运行成本。我们构建了开源项目 Kompressor,用于压缩 agent 反复重发的相同工具输出。在 Codex 的测试中,我们观察到成本实际降低了 22.7%。但在 Claude Code 上测试时,我们发现的情况完全不同。在 Claude Code 中,缓存的作用比压缩更关键。Claude Code 会用缓存点标记消息。因此,几乎每个请求都由一个较长的缓存前缀和一段新的、被截断的尾部组成。根据 Opus 5.5 的实际使用经验,从缓存读取的价格约为每百万 token 0.20 美元,约占 prompt 计费 token 的 92–95%。而写入一次五分钟缓存的价格是 5 美元,比从缓存读取贵 25 倍。当 agent 需要执行构建或较长的训练周期时,就会遇到缓存过期的问题。下一个请求就不得不把前缀重新写入缓存。在未启用压缩的 89 个任务运行周期中,我们看到了 33 次这种情况。结果是有 927,000 个 token 被重写,大约相当于全额计费量的三分之一。到目前为止,我们一直刻意不对 Claude Code 的文本做压缩,因为覆盖缓存前缀中的任何一个字节都很可能导致缓存失效。但我们想出了另一个办法:——只压缩未缓存的部分。首次传输时,只压缩新出现的部分。所有已缓存的内容保持逐字节不变。短于 4,000 字符的片段会完整发送,因为逐个压缩这些片段的成本远高于直接原样发送整个对话。——在工具运行期间保持缓存活跃,不让它过期。 当 agent 等待工具响应(模型构建/训练)时,Kompressor 每 4.5 分钟重发一次最后一个请求,并带上 max_tokens: 1,这样 Anthropic 会重新读取缓存对话,五分钟计时器随之重置。在 agent 发出下一个请求时、约 50 分钟后、首次尝试失败时,或者 ping 发现缓存中没有任何内容时,ping 就会停止。——仅在必要时切换到一小时缓存。 在第一次出现超过 5 分钟的暂停后,Kompressor 会为该对话请求启用一小时缓存。我们在 Opus 5.5 模型上通过 Terminal-Bench 2.1 基准(89 个任务)运行了 Claude Code,并根据 Anthropic 的实际计费(包括 ping)计算了成本。单次运行成本从 35.35 美元降至 28.30 美元(-20%)。未启用压缩时 agent 解决任务的百分比为 89.9%,使用 Kompressor 时为 90.6%。因缓存过期而损失的 token 数从 927,000 降至 13,000。但有一个需要注意的地方:agent 从不会以完全相同的方式两次解决同一个任务,而整个差异归结起来只来自 89 个任务中的 4 个。我们预计这些节省会在多次运行中持续存在:约 11% 来自保持缓存最新,另有几个百分点来自压缩。这种效果在 agent 需要长时间等待——超过五分钟——命令执行的任务上最为明显:模型训练、编译和长时间仿真。在这些情况下,成本降低了 34%。要试用 Kompressor,请见下方的 GitHub 仓库。安装说明在 README 中。默认配置已经包含仅压缩新文本以及在长时间暂停时切换到每小时缓存;“keep-warm” 默认关闭(这是代理唯一会自行发送的请求)。要启用,请在配置中添加:

     [proxy.providers.anthropic] 
     cache_keep_warm = true

然后运行:

    kompressor wrap claude 

上述基准测试是在启用所有这些设置的情况下运行的。成本计算见:https://optscale.ai/blog/claude-code-prompt-caching 如果你在 Claude Code 中运行长任务,工具仍在运行时缓存多久会过期一次?你在其他提供商那里也见过这种情况吗? 评论 URL:https://news.ycombinator.com/item?id=50467233 点数:1

评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →