返回资讯中心
外部精选
软件工程
#开发者实时流

Anthropic 用 Claude 压测 Claude Docs 上线,数十亿请求中出现 60 次服务器错误

来源标题:Claude Docs launch: 60 server errors across billions of requests

Claude Docs 上线期间在数十亿次请求中仅出现 60 次服务器错误。上线前约两周,作者用 Claude 驱动与生产环境镜像的 staging 集群,每天生成超百万份合成文档并故意破坏核心组件,由子代理自动修复,用于评估可承受的发布速度。作者称该方法可行,主要得益于前沿模型能连续数周专注同一目标。

Hacker News 最新qainsights2026/11/20 · 今天9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

说实话,这套做法之所以行得通,全靠我们的前沿模型最近提升了很多(我用的是一个内部研究模型,大致相当于 Claude Fable 5.2)。在我们的经验里,这类模型现在能围绕一个目标连续工作数周,正是这一点帮我们在很紧的时间线内撑到了发布规模。

几千名内部用户跑在一台机器上,完全说明不了服务能不能扛住发布,而我们显然也没有发布级别的流量可以用来测试。

我们想要真实证据来决定铺开的速度。于是 9 月 4 日,也就是发布前大约两周,我让 Claude 去驱动一个和生产环境镜像的 staging 集群——每天超过一百万份合成文档——并故意打坏核心组件。然后……我就让它一直跑着(完整成本我放在文末了)。

我的配置很简单。整个循环就是 Claude Code 里的一个会话,我一直让它开着:选一个场景,跑测试工具,读遥测,提出修复方案,部署到 staging,重复。这个会话充当协调者,把大部分工作分给子 agent。最忙的一周,通常同时有大约 11 个子 agent 在跑,峰值到 30 个。协调者还通过 Slack MCP 和我们内部的 Claude Tag(beta)变体对话,向 Anthropic 内部其他扩展过类似服务的基础设施团队取经。他们的 agent 帮我们检查扩容方案,看有没有他们踩过的坑。

有意思的部分是挑那些我觉得偏执的场景:

每一轮迭代都差不多。我们的测试工具选一个功能,比如文档创建,把创建压到饱和。Claude 然后用 Datadog MCP 读遥测,回来给出一份简短的选项清单和一条推荐。

如果推荐容易回滚,Claude 就写好改动、部署到 staging,再跑一遍测试。服务执行的每一个操作我们都有遥测。比如每条数据库查询都会报告它的名字、扫描了多少行、返回了多少行,这样 Claude 就能发现坏查询并重写它。

循环开始前,我告诉 Claude 哪些决策需要我批准;基本上就是所有难以回滚的事,比如改数据库 schema 或键布局,或者改文档的存储和物化方式。

Claude 撞上这类决策时,会停下来问我,通常还附一条推荐,而我最后基本都批了。Schema 变更是最典型的需要我参与的情况:通常有几个都说得通的答案,而中途改方向往往很痛苦。

在整个测试过程中,Claude 必须遵守两条不变量:

我同事 Felix Rieseberg 最近写了一篇教程,讲怎么对模型更大胆一些。他的核心观点是提高你给 Claude 的「高度」:要你想要的最终结果,而不是单个任务。

所以与其让 Claude 去修一个个崩溃,不如让它把你的应用做成不崩溃。(我们自己的应用也还没完全做到,但我们正是靠这个在取得实打实的进展。)不过要在那个高度上工作,你得先把代码搭好,让 Claude 能自己拉崩溃报告,并跑一个能复现每个崩溃、验证修复的测试工具。

对我们来说,那个结果就是一个能扛住发布的服务。为此我们做了两件事,让服务尽可能对 Claude 可读:

每一轮迭代,Claude 都会读遥测,并补上它认为缺的东西。手写遥测很枯燥,所以实际上大部分遥测都是等某处出问题之后才加的。现在 Claude 边跑边写。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →