返回资讯中心
外部精选
软件工程
#开发者实时流

Debezium 复制槽可占满 Postgres 磁盘,Kafka Connect 仍显示连接器正常

来源标题:Debezium Postgres WAL Subscription Monitoring

Debezium 的 Postgres 复制槽会在连接器被 Kafka Connect 报告为 RUNNING 时持续累积 WAL,直到磁盘被占满,期间没有任何健康检查失败。原因是 Debezium 只在其捕获的表发生变更时才确认位点,其他表的写入仍会让槽保留全部 WAL。Debezium 3.4.3 上测试显示,常见的开启心跳方案无效,而 3.4 引入的 lsn.flush.mode=connector_and_driver 可在空闲期确认 WAL。

Hacker News 最新dm035142026/11/8 · 9 天前10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Debezium 可能在 Kafka Connect 仍显示连接器处于 RUNNING 状态时,就把 Postgres 的磁盘写满。我们在 Debezium 3.4.3 上测试了修复方案。一种流行的修复方式会导致下次重启失败,另外两种则有效。

你的 Debezium 连接器报告 RUNNING,其复制槽也处于已连接状态。但与此同时,该槽位持有越来越多的 Postgres 预写日志(WAL),磁盘逐渐被填满。直到 Postgres 空间耗尽之前,没有任何健康检查会失败。Zalando 将其称为 Debezium 的“最大的单一运维问题”。下面,Control 在一个被 Kafka Connect 报告为健康的连接器上标记出了这个问题。

Debezium 通过复制槽读取 Postgres。Postgres 会保留 Debezium 最后确认位置之后的所有 WAL。Debezium 只在其捕获的表发生变更时才确认位置。WAL 属于整个服务器,因此对其他所有表的写入仍然会增加 WAL。当你捕获的表没有变更,而数据库其余部分仍然繁忙时,Debezium 不会确认任何位置,槽位就会保留每一个字节。

常见的建议是开启心跳。仅靠心跳在这里毫无作用:Debezium 仍然没有可确认的变更。Debezium 3.4 新增了 lsn.flush.mode=connector_and_driver,它可以在静默期确认 WAL。这能阻止增长。但到了下一次重启,连接器拒绝启动,报错“this is no longer available on the server”。在我们的测试中,该连接器在停止前只交付了 212,800 行中的 106,600 行。Debezium 在 #1605 和 #1863 中追踪了相关 bug。

我们运行了 Postgres 16 和 Debezium 3.4.3.Final,四个连接器并排运行。每个连接器捕获一张表 items。其他写入者让服务器其余部分保持繁忙。我们向 items 写入 5 分钟,停止 25 分钟,手动重启每个连接器,然后再向 items 写入 10 分钟。Control 监视了全部四个槽位:

两种配置成功抑制了 WAL 增长,干净重启且没有丢失任何行。配置 C 保留 connector_and_driver 并添加 offset.mismatch.strategy=trust_slot,使连接器在重启时信任槽位的位置。配置 D 向连接器添加一张小表和一条更新该表的心跳查询,使连接器始终有可确认的变更。第三种配置——发出逻辑消息的心跳,来自 Gunnar Morling 的复制槽指南——同样有效。不过它会一次性移动数据库上的所有槽位,因此可能掩盖旁边一个已经损坏的连接器。

"lsn.flush.mode": "connector_and_driver",
"heartbeat.interval.ms": "10000",
"offset.mismatch.strategy": "trust_slot"

还有一个陷阱:复用连接器名称。Kafka Connect 会保留已删除连接器的 offset。如果你删除一个槽位并用旧名称创建新连接器,新连接器会从旧 offset 开始。它会以同样的“no longer available”错误失败。请给重建的连接器一个新名称。在我们的测试中,只有带 trust_slot 的连接器 C 在以复用名称创建时成功启动。

连接器的状态可能误导你。连接器显示 RUNNING,而 WAL 却在填满磁盘。槽位才显示出故障。关注四个数字:槽位持有的 WAL、其消费者的落后程度、是否有消费者连接,以及服务器写入 WAL 的速度。健康的槽位在每次 flush 时上升然后下降。卡住的槽位则呈直线攀升,而其消费者仍保持连接。Postgres 在 pg_replication_slots 中报告前三个数字,在 pg_stat_wal 中报告写入速率。max_slot_wal_keep_size 限制一个槽位能持有多少 WAL,代价是可能破坏该槽位。

Control 同时监视 Postgres 和 Debezium 连接器。dbhealth 报告服务器上的每个槽位,Kafka Connect reporter 报告每个连接器及其设置。Control 将它们匹配起来,使每个槽位都能指明持有它的连接器。当一个已连接的消费者在 WAL 增长时没有确认任何位置,holding_wal 判定就会打开。其页面显示发生了什么、趋势、该连接器设置的修复方法,以及指向槽位、连接器和数据库的链接。slot.bounded SLO 会在磁盘填满之前发出警报。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →