返回资讯中心
外部精选
软件工程
#开发者实时流

微软称邮件大瘫痪源于7月修复引入的软件缺陷

来源标题:Microsoft blames monster email outage on software defect introduced in July fix

微软将上周的大规模邮件中断归咎于7月一次更新中引入的软件缺陷,该缺陷此前潜伏在网络网关服务器中,最终被负载激增与容量下降触发。微软初步事故报告称,其负载测试偏向核心数较少的较弱硬件,而该锁争用问题在核心更多、更新的硬件上更严重。Teams 故障切换至支撑 Exchange Online 的主网关后负载激增,工程师最终选择打补丁修复而非回滚。

Hacker News 最新Bender2026/11/16 · 昨天12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

微软将上周的大规模宕机归咎于7月份引入的一个软件缺陷,该缺陷一直潜伏在网络网关服务器中,直到负载激增和容量下降共同触发,导致Microsoft 365世界一天的电子邮件服务中断。

根据微软11月15日发布的初步事件后报告,该缺陷是在2026年7月引入的。微软表示,该更新当时看起来没有问题,通过了负载测试,部署后没有任何影响。

然而,测试还不够充分。微软的报告指出:“我们的负载测试往往集中在核心数较少的较弱硬件上。”该缺陷导致“内部Windows进程中的锁争用,致使机器的资源(CPU和内存)被耗尽。”

“在核心数更多、硬件更新的机器上,争用问题会更加严重。”

包含该缺陷的修复程序是专门为Microsoft 365网络网关服务器准备的。随后两件事同时发生。Teams故障转移到支持Exchange Online的“主”网关,造成负载激增——这本身并不特别异常。与此同时,网络网关近14%的服务器容量停止服务,这本身也不是问题:这些容量正在恢复中,而且据微软称,“服务有足够的容量余量”。两者叠加,将网关推入了缺陷触发区,混乱随之而来。

这是一个典型的级联故障场景。当一台服务器失去连接时,流量会被路由到下一个健康的端点。而下一个端点遇到了同样的问题。于是流量再次被重新路由……你可以看出事态的发展方向。在两小时内,该缺陷波及了微软的整个服务器集群。报告称:“在最严重时,超过80%的服务器无响应。”

那么,该怎么办?将服务器重新上线无济于事——它们会立即被压垮并再次崩溃。

“我们通常的自动化恢复流程并非为从这种大面积无响应状态中恢复服务而设计。”直接回滚也不可行,因为该缺陷已经存在数月之久。

于是,工程师们开发了一个“补丁的补丁”,或者用微软的话说,“一个将代码路径恢复到Windows中先前已知良好状态的更新”。该补丁被分组应用到服务器上,服务逐步恢复。

时间线显示了客户所经历的痛苦,以及微软在努力查明Exchange Online和其他云服务为何表现如此糟糕时的焦头烂额。Teams故障转移——后来被证明是此次宕机的一个因素——发生在UTC时间11月12日01:07。当天负载开始攀升,直到UTC时间16:03,微软的连接异常检测监控器识别到连接问题有所增加。

UTC时间16:33,第一个支持工单进来了。

不难想象工程师们在接下来15个小时里所承受的压力——他们尝试的一切都无法解决问题。所有正在进行和计划中的部署及配置变更都被暂停,团队全力尝试恢复服务。增加了额外容量。重新路由了流量。然而服务器仍然不断崩溃。

报告称:“那些能够做到的服务——如Teams、OneDrive、SharePoint和Office应用——从故障的网络网关基础设施中切换了出去。但并非所有服务都能做到这一点,比如Exchange Online,出于规模原因无法从该网络网关中切换出去。”

这就是Exchange Online(或者从许多用户的角度来看,Outlook)停摆如此之久的原因。

到UTC时间11月13日00:30,微软已将连接协商确定为主要故障原因,并得出结论认为竞争进程阻止了连接的处理。

然而,直到UTC时间07:20,“我们才确定了一个缓解措施并应用了该缓解措施——一个回退缺陷变更的更新。”

UTC时间16:10,微软确认情况再次恢复健康,并于11月14日04:15发布了最终的客户更新。

最终的事件后报告定于11月20日发布。然而,这份初步报告几乎无法安抚紧张的神经。三个月前应用的一个更新竟然在全球范围内导致Exchange Online(及其他服务)中断?而负载测试又没有反映微软本可控制的场景?

那些奋力恢复服务的工程师们值得表彰,希望他们永远不需要在雷德蒙德自己买饮料(或者至少能躲过下一轮裁员)。然而,导致一个带有潜在缺陷的更新进入生产环境的流程,值得认真深入地审视。®

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →