返回资讯中心
外部精选
软件工程
#社区热议

微软称邮件大规模中断源于7月修复引入的软件缺陷

来源标题:Microsoft blames monster email outage on software defect introduced in July fix

微软将上周 Microsoft 365 邮件大规模中断归因于7月一次更新中潜伏的软件缺陷,该缺陷在负载激增和容量下降时被触发。微软称该更新当时通过了负载测试且部署后无影响,但测试多集中于核心数较少的较弱硬件,缺陷在有更多核心的新硬件上更严重。故障发生后工程师无法回滚,只能紧急修补补丁。

Hacker NewsBender2026/11/16 · 昨天12 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

微软将上周的大规模宕机归咎于7月份引入的一个软件缺陷,该缺陷一直潜伏在网络网关服务器中,直到负载激增和容量下降共同触发,导致Microsoft 365用户一整天无法使用邮件服务。

根据微软11月15日发布的初步事故报告,该缺陷是在2026年7月引入的。微软表示,该更新当时看起来没有问题,通过了负载测试,部署后也没有产生任何影响。

然而,测试做得并不够充分。微软的报告指出:“我们的负载测试往往集中在核心数较少的较弱硬件上。”该缺陷导致“内部Windows进程中出现锁争用,致使机器的资源(CPU和内存)被耗尽。”

“在核心数更多、硬件更新的机器上,争用问题会更加严重。”

包含该缺陷的修复程序是专门为Microsoft 365网络网关服务器准备的。随后两件事同时发生了。Teams故障转移到支持Exchange Online的“主”网关,造成负载激增——这本身并不特别罕见。与此同时,网络网关近14%的服务器容量处于不可用状态,这本身也不是问题:这些容量正在恢复中,而且据微软称“服务有足够的容量余量”。两者叠加,将网关推入了缺陷触发状态,混乱随之而来。

这是一个典型的级联故障场景。当一台服务器失去连接时,流量会被路由到下一个健康的端点。而该端点也遇到了同样的问题。于是流量再次被重路由……你可以看出事态会如何发展。在两小时内,该缺陷波及了微软的整个服务器集群。报告称:“在最严重的时候,超过80%的服务器无响应。”

那么,该怎么办?将服务器重新上线无济于事——它们会立即被压垮并再次宕机。

“我们通常的自动化恢复流程并非为从这种大面积无响应状态中恢复服务而设计。”直接回滚也不可行,因为该缺陷已经存在了数月之久。

于是,工程师们开发了一个“补丁的补丁”,用微软的话说,就是“一个将代码路径恢复到Windows中先前已知良好状态的更新”。该补丁被分组应用到服务器上,服务逐步恢复。

时间线显示了客户所经历的痛苦,以及雷德蒙德方面在试图查明Exchange Online和其他云服务为何表现如此糟糕时的慌乱。事后被认定为宕机因素之一的Teams故障转移发生在11月12日01:07 UTC。当天负载开始逐步攀升,直到16:03 UTC,微软的连接异常检测监控器发现连接问题有所增加。

16:33 UTC,第一个支持工单进来了。

不难想象工程师们在接下来15个小时里所承受的压力——他们尝试的所有方法都未能解决问题。所有进行中和计划中的部署及配置变更都被暂停,团队全力尝试恢复服务。增加了额外容量。重路由了流量。但服务器仍然不断宕机。

报告称:“那些能够转移的服务——如Teams、OneDrive、SharePoint和Office应用——从故障的网络网关基础设施中切换了出去。但并非所有服务都能这样做,比如Exchange Online,出于规模原因无法从该网络网关中切换出去。”

这就是Exchange Online(或者从许多用户的角度来看,Outlook)停机时间如此之长的原因。

到11月13日00:30 UTC,微软已确定连接协商是访问失败的主要原因,并得出结论:相互竞争的进程阻碍了连接的处理。

然而,直到07:20 UTC,微软才表示:“我们确定了一个缓解措施并应用了该措施——一个回退缺陷变更的更新。”

16:10 UTC,微软确认情况再次恢复健康,并于11月14日04:15发布了最终客户更新。

最终事故报告定于11月20日发布。然而,初步报告恐怕难以安抚人们紧绷的神经。三个月前应用的一个更新竟然能在全球范围内导致Exchange Online(及其他服务)中断?而且负载测试还没有覆盖微软本可控制的场景?

那些拼命恢复服务的工程师值得表彰,希望他们永远不用在雷德蒙德自己掏钱买饮料(或者至少能躲过下一轮裁员)。然而,导致一个带有潜在缺陷的更新进入生产环境的流程,值得深入审视。®

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →