
ParadeDB 让多表关联搜索不再需要反范式化
来源标题:Do We Still Have to Denormalize? Have Your Schema and Search It Too
ParadeDB 实现了跨多张关联表的一等公民搜索能力,用户无需再将数据反范式化到单一宽表。在其 StackOverflow 基准测试中,一个三表 Top-K 搜索查询从原生 Postgres 的约 2 分钟降至 100 毫秒,提速最高达 1000 倍。该方案无需引入额外基础设施。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
搜索通常意味着按相关性(比如 BM25 或向量相似度)排序返回结果,或者把结果汇总成 facet。当数据存放在单张反规范化表中时,ParadeDB 已经能把这套流程做得很快。
但在关系型数据库里,数据通常是规范化的,被拆分到不同的表中,比如 users、posts 和 comments。我们把跨多张关联表的搜索称为 search join,而让这类查询变快,比看上去要难得多!
过去,这种场景迫使人们二选一:要么追求速度,通过脆弱的 ETL 流程把数据反规范化进 Elasticsearch1;要么追求简单,接受 Postgres2 缓慢地对数百万行打分并 join,最后只返回少量结果。
过去几个月,我们一直在让 search join 成为 ParadeDB 中的一等公民,免去在复杂度和慢查询之间做选择。在我们的 StackOverflow 基准测试中,多表搜索查询比原生 Postgres 快最多 1000 倍(把一个天然的三表 Top-K 搜索从 2 分钟降到 100 ms),而且无需任何额外基础设施。
想看 search join 在实际中是什么样子,可以看看 StackOverflow 的数据模型,它同时用到了关系 join 和搜索:users(230 万行)、posts(2000 万行)、comments(2900 万行)和 badges(2940 万行),这些都应该能从一个搜索框或 agent 中轻松访问。
你的直觉告诉你,当把这套数据集存进数据库时,大部分数据应该保持规范化:你不会想把 users 反规范化进他们的 posts 和 comments,然后在他们更新个人资料时去更新他们发过的每一条 post 或 comment。当有人搜索时,你只想写一条查询,在 users、posts 和 comments 中找到匹配项,并按它们合并后的相关性分数排序:
SELECT users.id AS user_id, users.display_name, posts.id AS post_id, posts.title, comments.id AS comment_id FROM users JOIN posts ON users.id = posts.owner_user_id JOIN comments ON comments.post_id = posts.id WHERE users.about_me ||| 'ocaml' OR posts.title ||| 'ocaml' OR comments.text ||| 'ocaml' ORDER BY pdb.score(users.id)
- pdb.score(posts.id)
- pdb.score(comments.id) DESC, comments.id DESC LIMIT 20;
但传统搜索引擎会告诉你,不能这么写。如果你尝试导出到 Elastic,那么你会一路趟过 “nested field types”、“enrich processors”、“terms lookup queries”、“runtime fields”、带有 10,000 行批量熔断器的 “LOOKUP JOIN”、“client side _update_by_query” 以及 “join fields”(每个索引只能有一个!),最后才意识到你仍然得选择把 users 或 badges 反规范化进每一条 post 和 comment。而当你真的做了反规范化,幂律偏斜会让写入和空间放大远比平均行大小所暗示的更糟。3 你不仅是在向两个数据库双写,反规范化的副本在复制之后还会占用最多 3 倍的存储。
那如果跳过外部搜索引擎,直接在原生 Postgres 里跑这条查询呢?在 B-Tree + GIN 模式(8 路并行)下,大约需要 2 分钟(118,000 ms)。
“Just Use Postgres” 是一个诱人而简单的答案:但要以最小妥协实现它,需要重新思考 Postgres 如何索引和执行查询。我们之前讨论过 ParadeDB 的索引如何保持事务一致性,以及它们如何在单表 Top-K 上优于内置索引:但 join 位于单个索引之上,在 Postgres 的查询执行器内部。
要快速执行 search join,需要在 join 之上的 Top-K 或聚合把数据量缩减到可以舒适地渲染给用户之前,以对局部性友好的方式访问尽可能少的数据。在这个例子里,有界的输出(一个小的 LIMIT 或 GROUP BY)是问题的关键部分。
当你按 created_at 这样的单列排序时,Postgres 可以沿着 B-Tree 索引遍历,找到 20 条符合条件的行后就结束。当你按 OR 连接的各表相关性分数之和排序时,没有任何表是按这个合并分数预先排好序的。因为一条不含 'ocaml' 的 comment 仍可能通过它的 post 或 user 匹配上,Postgres 甚至在 join 之前都无法过滤这些表。它必须先 join 全部 2850 万行,为每个三元组累加分数,然后才能排序并取前 20 条。
处理所有这些行代价高昂,因为 Postgres 的逐行执行器需要从表存储(heap)中取出元组来 join。取元组时,这个成本高到 Postgres 总是会取出查询可能需要的所有列(display_name、title 等):即使这一行很可能稍后就被 LIMIT 20 淘汰掉。
对于聚合查询,Postgres 缺乏向量化,以及需要从 heap 中挑出单列,同样拖累了它的性能。覆盖 B-Tree 索引(通常针对你需要执行的特定聚合专门构建)能有所帮助,但随着它们累积会降低写入吞吐量(在你的插入路径中引入随机写),而且无法接近列式存储的聚合性能。
专门的查询改写(比如把 OR 改写成一个 84 行的 UNION ALL,用 CTE 拆成针对每张表的独立查询)能让你更接近目标:对于一个罕见的搜索词,从约 2 分钟降到 1.2 秒,但维护的代码多得多,而且对于一个常见词,运行时间会膨胀到 14 秒。
要把那条原始的、自然的 SQL 查询在单核上降到 100 ms(比 84 行的 UNION ALL 改写快 12 到 50 倍,并进入完全反规范化数据集的范围),需要重新思考 join 和搜索索引如何相互作用。
ParadeDB 的索引把列式存储与 BM25 和向量搜索统一起来,把 join key 和投影列直接存进被查询各表的索引内部。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。