返回资讯中心
外部精选
软件工程
#开发者实时流

托管Postgres服务如何隔离可能仍在运行的旧主库

来源标题:Fencing a Postgres primary that might still be alive

在提升新备库为主库前,托管Postgres服务必须先隔离旧主库,防止其继续接受写入导致脑裂。即使执行 pg_promote 提升备库并刷新DNS,旧主库仍可能因网络分区继续接受客户端写入,DNS的TTL未过期前新客户端也会连到旧主库。

Hacker News 最新furkansahin2026/11/4 · 13 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这篇文章基于我在 PGConf.EU 2026 的演讲《主库挂了。你确定吗?》。

一个托管 Postgres 服务需要在提升新的 standby 之前,阻止任何可能的连接向 primary 写入。这被称为 fencing,对于防止写入丢失或脑裂场景非常重要。

要回答这个问题,我们需要先理解一次提升(promotion)是什么样子,以及让一个 standby 成为新 primary 所涉及的步骤。请记住,旧 primary 可能并没有真的宕机。如果存在网络分区,客户端能连上 primary 而我们连不上,客户端就可以继续向旧 primary 写入。

我们通过执行 SELECT pg_promote(true, 300) 来提升 standby。此时,这个 standby 停止确认来自 primary 的提交。

我们刷新 DNS 记录,让新连接指向新的 primary。

这些步骤没有一个能阻止旧 primary 接受写入,而这可能造成脑裂场景。DNS 这部分很清楚:在 TTL 过期之前,新客户端仍然可能连到旧 primary,而已经连接的客户端就待在那里不动。那当我们让 standby 停止确认提交时又会怎样?有三种场景下这无济于事:

如果我们只有一个 standby,它配置为异步复制,那么 primary 根本不会等它。即使有两个 standby,任何会话都可以通过 SET synchronous_commit = local 或 off 为自己关闭等待。

如果我们有两个 standby,我们为它们配置了 quorum commit(ANY 1)。当我们提升其中一个之后,只要另一个 standby 确认了提交,旧 primary 就会完成提交。

即使两个 standby 都完全断开,仍然连在旧 primary 上的客户端也可以发送 COMMIT。正常情况下,Postgres 会等待一个确认,但如果客户端取消查询(在 psql 中按 Ctrl+C),或者旧 primary 崩溃后重启,每个会话都会在旧 primary 中看到这次提交,因为提交已经写入了旧 primary 的 WAL(预写日志)。这是 Postgres 同步复制的一个已知行为。

因此,我们会在提升 standby 之前,设法阻止旧 primary 接受任何写入。

Fencing 是时间敏感的操作,因为在 fencing 完成之前我们无法提升 standby。花在 fencing 上的任何时间都会直接延长停机时间。为了尽量减少这一时间,我们会并行尝试多种 fencing 方法,并在第一个成功完成时立即继续执行 failover。

Ubicloud 的控制平面支持在三种环境中运行托管 PostgreSQL:裸金属、AWS 和 GCP。每种环境都支持通用的 fencing 方法,并辅以额外的平台特定方法。我们组合使用这些方法,以尽可能快地 fence 旧 primary。

ClickHouse Managed Postgres 运行在开源的 Ubicloud 控制平面上,该控制平面由 Ubicloud 和 ClickHouse 共同构建。我们两个团队中有几个人从 Citus Data 和微软时期起就一直在一起构建托管 Postgres,我就是其中之一。

假设控制平面可以通过 SSH 访问底层 VM,但 Postgres 本身不健康。我们手头有两个顺手的工具:pg_stop 和 hba。

pg_stop 只是用 pg_ctlcluster 停止集群,但它在重启方面有问题。默认情况下,postgresql-common 的 start.conf 内置了自动启动,我们保留了这个设置,因为大多数时候,我们希望 Postgres 实例在 VM 重启时自动重启。然而,这意味着当我们停止集群后,如果 VM 因任何原因重启,primary 又会运行起来。

另一方面,hba 机制会写入新的 pg_hba.conf 并重新加载 Postgres,因此它在重启后依然有效。然而,这些规则只适用于新的连接尝试。Postgres 文档针对每种记录类型都说明该记录“匹配连接尝试”。所以每个已经打开的会话都不会再次经过 pg_hba 校验。这些连接也包括长期存活的 PgBouncer 服务器连接。因此,对于已有连接,我们实际上什么也得不到。

此外,这两种机制都依赖于 SSH 访问可用,因此控制平面必须能够到达底层 VM。如果 VM 本身不可达,控制平面就需要一种 guest 之外的机制。事情从这里开始根据底层 VM 提供商的不同而分叉。

在裸金属上,控制平面还管理着运行 Postgres VM 的宿主机。因此,我们可以从宿主机上进行 fence。每个 VM 在其宿主机上都有自己的网络命名空间,一对 veth 连接两者。vethi<vm> 端在命名空间内,vetho<vm> 端留在宿主机上。宿主机将 VM 的公网 IPv4 和 IPv6 地址路由到 vetho<vm>,承载复制的加密私有网络也经过这对 veth。

所以 fence 基本上就是在宿主机上运行以下命令:

1timeout 10 sudo ip link set vetho<vm> down 复制命令

veth(4) 手册页说:“当任一设备 down 时,这对设备链路状态即为 down。”客户端、复制、向对象存储的 WAL 上传,以及控制平面对 VM 自身的 SSH,全都经过这对 veth,所以它们全都被切断。Postgres 在内部继续运行,但命名空间之外的任何东西都无法访问它,而控制平面仍然可以通过宿主机销毁该 VM。

Fence 需要宿主机响应。如果宿主机不可达,三种机制都会失败,因为 pg_stop 和 hba 也是通过该宿主机到达 guest 的。

在 AWS 上,控制平面无法访问宿主机,所以它在 guest 之外唯一能做的就是调用 EC2 API。我们评估了通过该 API 进行 fencing 的三种方式,但没有一种满足我们的需求。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →