微软披露隐藏Windows漏洞导致Microsoft 365全球服务中断
来源标题:Microsoft Reveals How a Hidden Windows Bug Took Down Microsoft 365 Services
微软称2026年11月12日的Microsoft 365全球中断由三个因素共同引发,根源是网络网关服务器上的一处潜伏缺陷。该缺陷导致内部进程出现锁争用,服务器在特定负载下无响应;相关修复本为Microsoft 365网关专门准备,不影响更广泛的Windows部署。该变更自7月起经安全部署并在全球运行三个多月,期间常规负载测试未发现问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
有关根本原因的更多细节可以在 Microsoft 365 管理中心找到,下面是删节版。
对于此次事件给所有客户带来的影响,我们深表歉意,也清楚这对其正常业务与运营造成的影响。
2026 年 11 月 12 日(周四)发生的这起事故,由三个主要因素共同导致,最终使承载许多 Microsoft 365 服务的网络网关发生了全球性中断。
第一,一个潜伏缺陷导致服务器在某些负载条件下不堪重负、失去响应。原因是某个内部进程中的锁争用,使机器变得不可用。该缺陷源于一项专门为 Microsoft 365 网络网关服务器准备的修复;底层缺陷本身和这项修复都不适用于更广泛的 Windows 部署。
这一行为变化最初于今年 7 月开始部署。该更新经过了安全部署流程,并在数周内逐步覆盖全球,在此期间未观察到任何问题。在三个多月的时间里,该变更在全球范围内部署,未产生影响。
我们常规的负载测试没有发现这个潜伏问题,因为测试实验室使用的流量和 SKU 组合不同。争用问题在核心数更多、硬件更新的机器上更为严重;而我们的负载测试往往集中在核心数较少、性能较弱的硬件 SKU 上。
第二,负载激增增加了网络网关遇到该争用的可能性。在 Microsoft 365 内部,我们维护着两套相互独立、异构的网络网关系统,以实现隔离和高可用性。这使得许多 Microsoft 365 服务在中断或故障期间可以在两者之间进行故障转移。在事故发生约 15 小时前,Teams 从备用网络网关故障转移到了同时支持 Exchange Online 的“主”网关。这增加了该网络网关的负载,并改变了其流量模式。这类故障转移属于正常运营的一部分,也是 Microsoft 标准韧性工作的组成部分。
第三,与此同时,网络网关近 14% 的服务器容量因前一天一起无关问题而停止服务。这部分服务器容量本应通过常规维护和健康检查流程恢复正常服务。该服务有足够的容量余量,因此服务器容量的减少本身并未产生影响。
综合来看,负载增加与服务器容量减少,使网络网关触发了 7 月埋下的潜伏缺陷。这导致请求不断堆积,直到服务器最终停止响应。此事发生在美国流量高峰时段。
当服务器失去连接时,我们的流量管理系统会自动将用户路由到其他健康端点。这种情况经常发生,对于避免因硬件、软件或网络缺陷导致任何中断至关重要,通常也正是服务具备韧性的原因。然而,被重定向的流量增加了同样的问题在其余端点上发生的可能性。由于同样的负载被分散到更少的服务器上,这引发了服务器之间的级联故障。在不到两小时内,这个此前未知的缺陷就在我们的整个服务器集群中出现,并使其失去响应。最低谷时,超过 80% 的服务器失去响应。
通常情况下,网络网关由数千个“容量单元”组成,这些单元代表容量、硬件和网络基础设施的分片。这些“容量单元”随后被组织成区域。在本例中,由于另一起独立问题,这些不同分区之间通常应有的隔离机制未能阻止级联故障。这正是影响得以蔓延至我们全球网络网关基础设施的原因。
Teams、OneDrive、SharePoint 和 Office 应用等多项服务成功从故障的网络网关基础设施中转移出去。这就是这些服务较早恢复的原因——在事故的大部分时间里,Teams 聊天和会议运行正常。但并非所有服务都能从这个网络网关转移出去,例如 Exchange Online。
恢复耗时比平常更长,因为服务器恢复服务后,会立即被积压的流量淹没并再次失去响应。我们通常的自动化恢复流程并非为从这种大范围失去响应的状态中恢复服务而设计。此外,由于主要代码缺陷是数月前埋下的潜伏缺陷,我们常规的回滚、灰度发布(flighting)和功能开关无法快速还原该变更。
在工程师确认该缺陷是根本原因后,我们开发了一项更新,将代码路径恢复到此前已知的良好状态。为了有效应用该修复并逐步让服务重新上线,我们将服务器分批停止服务、应用变更并重启,然后再恢复服务。这一过程被谨慎地一次应用于大量基础设施(例如一个区域 50% 以上的设施)。
最终的事后复盘报告(PIR)将于本周晚些时候提供更多细节。
Microsoft 365 Status
回复 @MSFT365Status
我们已发布上周中断事件的初步事后报告,可通过管理中心在 MO1550821 和 EX1550543 下查看。
2026 年 11 月 16 日 · 06:06 UTC
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。