
Hatchet 利用 S3 索引文件进一步降低 Postgres 磁盘占用
来源标题:Supertoast, Redux
Hatchet 在博客中介绍其 Supertoast Tables 方案的升级版:每天将数百 GB 数据卸载到 S3,磁盘占用减少约 97%。此前该方案是用夜间任务重写分区表并将数据迁移至 S3,以应对失控的 Postgres 磁盘成本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
现在一切都是 S3。Postgres、Git、Kafka,甚至 POSIX 文件系统都在以 S3 作为基础层被重新发明。今年早些时候,我们也赶了这波潮流,决定把 Hatchet 很大一部分 payload 数据卸载到 S3 上,以节省磁盘成本,并为此写了一篇题为《Supertoast Tables》的博客。我们的 Postgres 磁盘成本快要失控了,所以与其把数据无限期保留在磁盘上,不如在一天之后就把数据卸载到 S3,这样可以甩掉数 TB 的数据。
但在这篇文章发表几个月后,我们意识到还能做得更好。现在我们有了一份同样任务的升级版,每天照样把数百 GB 的数据卸载到 S3,但磁盘占用降低了大约 97%。在此过程中,我们还学到了几个 Postgres 里有趣却不太为人所知的技巧,恰好非常适合解决这类问题。
让我们回溯一下。最初的想法是用一个 nightly 任务重写 payloads 表的一个分区(我们在 Postgres 中大量使用基于时间的分区)。我们会按行块处理,把它们卸载到 S3,然后把 S3 中对应 key 的指针写进一个新分区。等到所有行都卸载到 S3 之后,我们在父表上加锁,detach 掉包含内联内容的旧分区,再 attach 上只含指针的新分区。这一切进展得极其顺利;我们缩容了一批 NVMe,奖励了自己一杯香槟。
但香槟很快就喝完了。几个月后,我们遇到了一个新问题:我们想进一步节省磁盘空间。然而即便新分区只包含一个指针,许多被卸载的分区每个仍然占用数百 GB。其中一半来自实际数据:我们存储的 key 以及其他元数据。另一半则来自主键。
于是我们面临一个新的挑战:如何继续把数据卸载到 S3,同时又能查找到 S3 中正确的 payload,而不需要存储这张保存指向对象指针的 key-value“supertoast”表?就这样,我们的 lookup-scan-lookup 方法诞生了。
在继续之前,先补充一个让这一切得以成立的关键细节:supertoast 行的 id 与拥有其 payload 的“源”行的 id 相同。
你可能会把这理解成一种多态,只不过是在数据库层面。许多不同的源表(tasks、events 等)都把各自的 payload 写入同一张 supertoast 表,而我们通过例如正在检索的 task 的 id 来查找对应的 payload。我们在 Cybertec 的朋友 Laurenz Albe 写过一篇很棒的博客,介绍了在 Postgres 中实现多态的几种方案,如果你感兴趣可以去看看。
CREATE TABLE supertoast ( id UUID PRIMARY KEY, -- same as the id of the task, event, etc. that owns it content JSONB NOT NULL -- the payload ); CREATE TABLE task ( id UUID PRIMARY KEY, -- also this task's supertoast id (no FK constraint) priority SMALLINT NOT NULL, queue TEXT NOT NULL ); CREATE TABLE event ( id UUID PRIMARY KEY, -- same idea seen_at TIMESTAMPTZ NOT NULL, scope TEXT );
这里的关键在于,这样做我们永远不需要在任何地方存储 payload 的 id。即使 supertoast 行已经被删除、payload 只存在于 S3 中,我们仍然知道它的 id,因为它就是我们正在查看的 task 或 event 的 id。
我觉得有义务说明:我非常强烈地不建议你在自己的应用中使用这种模式!如果你需要多态,几乎可以肯定,使用 Laurenz 在他的文章中描述的某种方案会更安全。我们有一种倾向,就是为了大规模下的性能和优化而打破一些“规则”。
我们开始头脑风暴,想办法限制需要写入磁盘的数据量,同时仍然能正确查找 payload。我们最初的想法是尝试用 hash 索引代替 btree 来做 key-value 表的主键,以减少索引占用的磁盘空间,但很快就清楚这还不够。我们需要的是数量级的改进,而这个方案远远达不到。
接下来,我们开始琢磨一种“魔法”查找,基本上就是找到某种方式,把 supertoast 行的 UUID 映射到 S3 中的某个 key,而不需要把这个 key 写入数据库。最简单的魔法查找是把每个 payload 作为 S3 中独立的 key 存储,但正如我们在上一篇文章中讨论的,在规模化场景下 PUT 请求的数量会变得昂贵到难以承受。S3 对象需要包含许多 payload 的批次,而不是单个 payload。
这就引出了下一个想法:在卸载过程中,我们写一个索引文件,其中包含从 UUID 到其实际 key 的映射;其次,再写入对象本身(位于该 key 处)。
基于这个思路,我们写入 S3 的索引文件长这样:
4b03029c-5a3f-4c95-b601-1ff755baaa0a -> s3://bucket/2026/11/03/10/foobar.json e81d076b-a88b-407d-aeb4-fc6fa7e0ae05 -> s3://bucket/2026/11/03/10/bazqux.json
我们的想法是,如果能够写出这样的文件,然后再想出一种办法,在不需要为每个 payload 行向数据库写入指针的情况下,确定应该去哪个索引文件中查找特定的 payload,那我们就大功告成了。而借助上面的 id 技巧,我们始终知道要查找哪个 id。
我们的第一个想法是尝试按标识 payload 的 UUID 的前 N 个字符进行分组。请注意,我们主要使用 UUIDv4,所以请对我们友善一点,不要告诉我们 UUIDv7 能解决所有问题(我们知道……)。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。