返回资讯中心
外部精选
软件工程
#开发者实时流

GKE集群API超时:三层网络栈三个独立bug同时作祟

来源标题:When the Kubernetes API went silent: A three-layer networking mystery

Google工程师排查发现,europe-west区GKE集群的Kubernetes API间歇性超时由三个不同层级的独立bug同时引发,约800名开发者因此数周无法部署到生产环境。来自GKE、Private Service Connect、网络、内核及Linux上游社区的工程师联合定位出三个不同根因,最终修复并非靠单一配置变更。

Hacker News 最新miladibra2026/11/8 · 9 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Akash Thakur 高级技术解决方案工程师

每个支持工程师都有那么一个案件,始终萦绕心头。那种会在团队午餐时被反复提起的案件。那种即使已经解决,你仍会在午夜时分盯着数据包捕获文件,只为了确保自己真正理解发生了什么。这就是那个案件。

事情始于 2026 年 1 月,一张支持工单上写着看似简单的描述:Pod 间歇性无法连接 Kubernetes API Server。错误是看起来很眼熟的超时。客户已经排除了自身 Operator 的问题。而我们当时谁也不知道,我们面对的是三个独立的缺陷——分别位于技术栈的三个不同层次——它们同时发作,制造出同一个症状。

等到一切结束时,约 800 名开发者被连续数周挡在生产部署之外,europe-west 区域的 GKE 集群大面积停摆。为了尽快修复问题,我们召集了来自 Google Kubernetes Engine(GKE)、Private Service Connect、网络、hostnet、内核以及 Linux 上游社区的工程师,共同追查出了不止一个,而是三个不同的根因。而最终的修复并非配置变更或功能开关,而是一个对 Linux 内核本身的补丁。

该客户在 Google Cloud 的 europe-west 区域运行着大型多集群 GKE 环境。其集群使用 Private Service Connect——Google Cloud 用于私密暴露 GKE 控制平面的机制——并拥有丰富的系统级工作负载生态:Twistlock 安全扫描器、用于密钥管理的 External Secrets Operator、用于网络策略的 Cilium,以及若干内部 Kubernetes Operator。

最初的错误出现在 europe-west 的一个用户验收测试(UAT)集群中,几天后同一区域的第二个集群也出现了同样的问题。错误看起来是这样的:

应用日志——跨多个命名空间的 Pod 加载中... TimeoutError: Connect call failed ('1.2.3.4', 443) dial tcp 1.2.3.4:443: i/o timeout

1.2.3.4 是该集群 kube-apiserver 的内部 VIP,

通过 Private Service Connect 路由

起初错误是间歇性的——日志中出现尖峰,而非彻底中断。客户怀疑是自己的代码问题。他们的团队最近部署了一个基于 kopf 框架构建的自定义 Operator,这是他们首先排查的对象。但日志显示,错误早在该 Operator 部署之前八天就已经开始了。当他们将该 Operator 完全关闭后,超时依然持续出现。

当这样的案件到来时,第一反应是问:发生了什么变化?客户的时间线给了我们几个候选对象,我们逐一有条不紊地进行了排查。

自定义 Operator(kopf):立即排除——错误比部署早了一周,且关闭后仍在继续。 External Secrets Operator:应客户要求完全移除。依赖 Kubernetes 控制平面(KCP)连接性的客户工作负载以及集群内部系统 Pod 中的超时仍在继续。 安全代理:已卸载。结果相同。此时我们看到的是系统级 Kubernetes 组件无法连接到自己的控制平面。 conntrack 表耗尽:一种推测是过多半开连接填满了控制平面节点上的操作系统连接跟踪表。我们检查后发现,conntrack 表大约使用了 50% 的容量——默认最大值为 130 万条记录。远未达到耗尽的程度。 控制平面过载:我们扩大了 KCP 虚拟机的规格。kube-apiserver 的延迟看起来正常。超时问题没有任何改善。

这个案件真正奇怪的地方在于影响范围。我们确认超时发生在五个不同的集群中,DaemonSet、Deployment 和系统 Pod 均受影响。外部客户端——开发者笔记本电脑、GitHub Actions runner——也撞上了同一堵墙。这不是某个工作负载出了问题。这是所有东西与 API Server 之间的路径出了问题。

第 1 天:首批 I/O 超时错误出现(europe-west3 的一个 UAT 集群。间歇性,容易被忽视。) 第 10 天:错误变得持续(频率显著增加。问题不再可以忽视。) 第 15 天:案件升级——提交 P0 缺陷(确认多个集群受影响。约 800 名开发者被阻塞。生产发布冻结。正式升级流程启动。) 第 20 天:所有明显的嫌疑对象被排除(自定义 Operator、安全代理、conntrack 耗尽、控制平面扩容——全部排除。) 第 22 天:收集数据包捕获(同时在控制平面节点网卡和 kube-api 容器内部进行捕获。调查进入最关键阶段。)

在排除了明显的嫌疑对象、且影响范围无可否认地广泛之后,我们做了应用层已无话可说时该做的事:我们去看数据包。

要理解数据包捕获揭示了什么,首先需要了解 GKE Pod 在发起 API 调用时所经过的架构。在基于 Private Service Connect 的 GKE 集群中,这条路径对于看起来像是本地连接的请求来说,长得令人意外。

这里的关键组件是 Private Service Connect。当一个 Pod 拨号 1.2.3.4:443 时,它实际上并不是直接连接到控制平面;那个 IP 是一个虚拟端点。连接被 Google 的网络底层拦截,通过 Private Service Connect 端点进行 NAT,经过一个内部直通网络负载均衡器,最终送达 KCP 虚拟机,在那里 Envoy 作为本地代理,位于实际的 kube-apiserver 进程之前。

Private Service Connect 会为每个新连接添加一个 proxy protocol 头,以便 kube-apiserver 能够看到真实的客户端 IP。这一点在后续会变得很重要。

当我们在 KCP 虚拟机的网卡(PIGv 接口,Google 的可编程虚拟网卡)和 kube-apiserver 容器内部同时进行捕获时,我们看到了令人震惊的现象。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →