返回资讯中心
外部精选
软件工程
#开发者实时流

Cloudflare 将核心服务器启动时间从数小时缩短至几分钟

来源标题:We reduced core unit boot time from hours to minutes

Cloudflare 通过修复 UEFI 固件交接问题,将核心数据中心服务器因固件更新后长达四小时的启动时间恢复到几分钟。问题源于常规固件更新后启动协议出现超时,导致本应一天完成的机群部署拖延数天,新节点首次启动也受阻。

Hacker News 最新birdculture2026/11/10 · 7 天前28 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这篇文章同时提供日本語和한국어版本。

Cloudflare 的核心是运行控制平面、计费和分析的集中式数据中心,与处理用户流量的全球分布式边缘网络不同。核心服务器是裸金属服务器,一旦重启过程中出现问题,后果可能迅速连锁扩散。

它们的启动过程由 UEFI 编排,这是现代固件标准,负责初始化硬件并将控制权交给操作系统。这一交接过程中的细微异常可能带来巨大的影响。

在一次例行固件更新后,我们部分核心服务器重新上线需要四个小时,而此前只需几分钟。本应一天完成的 fleet 范围推送,却拖成了多日的苦战。新节点在首次启动时就遭遇了完整的超时折磨。维护窗口大幅膨胀。工程团队不得不人工盯着那些本应无人值守运行的升级。

我们发现这一行为,是在将已关机很长一段时间的节点重新上线时。这些节点的固件已经过时,需要多次更新才能解决。再加上我们部分地点的服务器最近对启动协议进行了更新,受影响节点的启动时间变得不可接受。

这就是我们如何将原因追溯到一个固件怪癖,以及对每个可用网络启动接口过于急切的线性搜索,并将总启动和升级时间从数小时重新压缩回数分钟的故事。在此过程中,我们将分享关于 UEFI 内部机制、厂商特定怪癖以及最终解决问题的自动化策略的经验教训。

网络启动接口允许服务器通过网络而非本地存储来启动操作系统。这对于对机器启动方式进行集中化、自动化和可扩展的控制至关重要,尤其是在服务于不同工作负载的全球分布式 fleet 中。由于我们的服务器位于不同环境、服务于不同目的,它们对特定网络启动接口有不同的要求。两种主要接口是预启动执行环境(PXE)和统一可扩展固件接口(UEFI)HTTPS 启动。

作为重启流程的一部分,我们的服务器通常因各种自动化原因走 PXE。在 Cloudflare,我们使用开源的 iPXE,这是一个开源网络启动固件,支持 HTTP 和 HTTPS 等现代协议。这使得计算机可以直接从 Web 服务器、云端或企业存储网络启动操作系统,速度显著更快,可靠性更高。

对于组织而言,iPXE 将启动过程转变为可编程的工作流。它提供高级脚本能力,使 IT 团队能够自动化复杂部署,例如根据特定硬件配置配置服务器,或管理安全的无盘工作站。

我们的一些硬件支持基于 HTTPS 的 UEFI 网络启动,使计算机主板固件能够原生安全地下载操作系统文件。

我们的故事始于那次决定性的固件更新。更新之后,第一批报告通过内部渠道传来:服务器无法重新上线。监控仪表板显示机器在预操作系统状态下卡住的时间远超预期。我们最初的怀疑是固件回归:也许是更新本身引入了一个导致启动过程挂起的 bug。

为了排除这一点,我们调出受影响机器的串行控制台,实时观察一个启动周期。固件开机自检(POST)正常完成,硬件初始化看起来健康。但随后,服务器并没有快速到达网络启动阶段并拉取操作系统镜像,而是坐在那里等待。等啊等。

控制台输出说明了问题:系统尝试 IPv4 HTTPS 网络启动,几分钟后超时,然后尝试 IPv4 iPXE,再次超时,然后重复这两者——所有这些都发生在最终到达真正能够成功的 IPv6 HTTPS 启动接口之前。

每次失败的网络启动尝试大约要浪费五分钟等待超时响应。在到达正确接口之前堆积了四次尝试,单个启动周期就浪费了大约二十分钟。对于例行重启来说,这已经很痛苦了。对于固件升级自动化来说——它需要多次顺序重启,每个组件一次——这些二十分钟的惩罚累积成每台服务器近四个小时的闲置等待。

在追踪启动序列并分离出超时模式后,根因变得清晰:服务器在盲目地逐一搜索每个可用的网络启动接口,等待每一个失败后才继续下一个。修复方法是完全消除猜测——提前声明正确的启动接口,这样系统就永远不会在永远不会响应的接口上浪费时间。

但将其付诸实践远非直截了当。正如我们接下来要解释的,我们遇到了几个障碍:启动自动化工作流的顺序、一个我们被阻止更改的设置,以及来自不同网卡厂商的不同字符串格式。

我们的启动自动化流程大致分为三个阶段:固件初始化、预启动和内核启动。上电后,UEFI 固件进行一些硬件和外设初始化,随后进入 PXE 预启动环境。预启动阶段设置网卡并执行一个称为 bootloader 的小程序,由它启动内核。正是在这个 PXE 阶段,各种网络接口被探测以找到正确的那个。在首次启动时,固件升级被包含在我们的启动自动化工作流中。

而由于每次固件升级都需要重启(以及随之而来的网络启动尝试序列),这就是我们如何陷入总启动时间接近四小时的情况。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →