
GitHub 10 月发生 8 起事故,已完成 Azure 算力扩容
来源标题:GitHub availability report: October 2026
GitHub 10 月共发生 8 起导致服务性能下降的事故,同时完成 Azure Central US 的大规模算力扩容。截至 11 月 9 日,151 个生产服务中的 140 个、50 个 MySQL 主库中的 32 个已运行在 Azure 上,九个 Kubernetes 集群算力翻倍以上。迁移服务流量自 3 月以来增长 82%,但写入中断、数据迁移期间的监控缺口和区域网络故障也暴露了运维风险。
以下正文由 AI 翻译自 GitHub Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们持续分享 GitHub 可用性与可靠性工作的月度更新。
十月简要情况:我们新增了大量可独立扩展的 Azure 容量,并消除了若干可能导致故障升级的途径。然而,写入故障、数据迁移期间的监控缺口以及一次区域网络中断,都进一步说明容量增长必须与更安全的运维、更强的隔离和经过验证的区域恢复能力相配套。
截至 11 月 9 日,151 个生产服务中有 140 个、50 个 MySQL 主库中有 32 个运行在 Azure Central US。Azure 承载了迁移服务 63% 的读取、单体应用 66% 的读取以及 Git 52% 的读取。我们还完成了 Central US 全部九个 Kubernetes 集群的计算扩容,容量翻了一倍多。
这些容量已经在承载真实的增长。自三月以来,迁移服务的流量增长了 82%,Central US 吸收了超出我们现有数据中心此前所承载的最高周均负载之外的增长部分。这让 GitHub 有了更多增长空间,而无需将原有环境推出其先前的工作范围。
我们还做了若干有针对性的可靠性改进。Actions 的变更提升了关键 Azure 控制平面请求的容量。另一项 NAT 网关缓解措施将使用量降低了 85%;变更期间有四个生产任务失败,而如果没有该缓解措施,预计约有 800 个任务会失败。连接限制和其他客户端改进现在也降低了依赖中断演变为更大范围重连风暴的可能性。
我们也消除了集中的数据库负载来源。一个每日处理超过 2.5 亿次请求的高流量 GitHub Actions 端点迁移到了更高效的服务路径,使数据库峰值读取降低了 85%。在搜索仓库主题前要求至少输入三个字符,使该模式下缓慢或被终止的查询减少了约 98%。
可靠性仍未达到应有的水平。10 月 7 日的写入故障暴露了数据库编排与生产路由之间不安全的交互。10 月 29 日的 Azure 网络中断影响了 Central US 的全部三个可用区以及至少 34,128 名已登录用户。以下是这些事件及其他事件的更多细节。
East US 3 的建设比计划落后约一周。下一阶段将在 12 月第一周进行首次经过验证的流量爬坡,同时我们继续加固迁移安全性、依赖隔离和区域恢复能力。
原则始终如一:先可用性,再容量,最后功能。
10 月 05 日 19:11 UTC(持续 3 小时 38 分钟)
持续时间:约 3 小时 45 分钟。
客户可能看到 GitHub 托管运行器上的 GitHub Actions 任务排队时间远长于平时,部分工作流运行未能启动。在持续约 90 分钟的最严重时段,GitHub 托管运行器上的大多数任务未能在五分钟内启动。随着我们故障转移到健康区域并增加容量,影响有所缓解。自托管运行器未受影响。使用 actions 构建的 GitHub Pages 站点更新缓慢,但现有站点仍正常提供服务。部分客户还在仓库列表、许可与账单页面以及部分 Copilot 功能中看到错误。
出了什么问题,原因是什么?
Actions 任务持续排队或无法启动,是因为将任务分配给 GitHub 托管运行器的服务无法稳定工作。我们云提供商一侧的部分网络故障中断了我们的某个数据中心区域与该服务所依赖的云托管数据库之间的部分连接。该服务没有快速失败,而是等待这些调用超时。等待中的调用不断堆积,直到服务内存耗尽并重启。
随后任务转移到健康区域中的同一服务,而该区域没有足够容量应对额外需求,也开始失败。与此同时,数分钟未收到任务的运行器关闭且替换缓慢,因此可用于接收任务的运行器减少。
我们如何应对?
- 部分网络故障开始,actions 任务开始积压。
- 告警标记出错误和任务分配缓慢,我们宣布进入事件状态。
- 我们重新部署了将任务分配给 GitHub 托管运行器的服务,但它未能恢复。我们将故障追踪到网络问题。
- 我们逐个服务地将受影响的数据库和存储故障转移到健康区域,并增加容量。Actions 恢复了,但部分其他受影响的服务在故障转移后仍持续失败。
- 我们与云提供商合作解决了网络故障。其余服务恢复,事件解决。
我们如何降低此类事件的发生概率或影响?
- 我们正在让将任务分配给 GitHub 托管运行器的服务更好地应对负载骤增,以便在其他区域将额外任务转移过来时能够跟上。
- 当可用运行器容量下降时,我们现在扩大了基于客户画像(在可用的情况下)对运行器分配的优先级划分。
- 我们正在改变 GitHub 托管运行器的行为,以缩短任务分配服务在一段时间内降级时的恢复时间。
- 我们正在改进检测和定位数据中心与其所依赖的云托管服务之间部分网络故障的速度。
10 月 06 日 19:57 UTC(持续 3 小时 43 分钟)
持续时间:github.com 上约 6 分钟的失败或缓慢请求,随后约 3 小时 30 分钟期间企业迁移暂停。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。