返回资讯中心
外部精选
软件工程
#开发者实时流

ParadeDB为Postgres索引加入原生向量支持

来源标题:Text, Filters, and Now Vectors in One Postgres Index

ParadeDB宣布在Postgres索引中实现原生向量支持,将向量与文本搜索放在同一索引中,以同时解决过滤和内存问题。在2800万行Hacker News数据集上,搭配0.01%选择性的文本过滤,其向量搜索性能对标专用搜索引擎Turbopuffer。连续更新支持仍在开发中。

Hacker News 最新philippemnoel2026/11/20 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

pgvector 使用量的爆发式增长,已经证明向量与其所表示的关系型数据放在一起有多大的价值。但一旦走出玩具示例和基准测试,大多数重度使用 Postgres 向量索引的用户都会在生产环境中遇到扩展难题,因为他们在以下几个方面栽了跟头:

今天我们宣布 ParadeDB 原生支持向量。循着搜索引擎的做法,向量与我们用于支撑文本搜索的索引共存于同一个索引之中,把过滤和内存问题一并解决。对持续更新的支持仍在开发中。

我们没有只跟 Postgres 向量扩展做对比,而是决定抬高标杆,拿一个专用搜索引擎来做基准测试。

下面是我们与 Turbopuffer 在 2800 万行 Hacker News 数据集1 上进行向量搜索的对比,带一个 0.01% 选择性的文本过滤器:

热运行 · 单并发客户端 · 图中所示为实测召回率。在下方查看完整对比。

在接下来的章节中,我们先分享更多性能结果,然后深入剖析我们的架构和路线图。

要把搜索留在 Postgres 里,我们就必须能跟专用搜索引擎一较高下。如果外部向量数据库的表现明显更好,那么比另一个 Postgres 向量索引更快就没那么重要了。为此我们对 Turbopuffer 做了基准测试——我们认为它是最流行的向量数据库之一。

ParadeDB 在无过滤和带过滤的向量搜索上都表现出色。无过滤搜索我们用的是 1.13 亿条的 MS Marco 数据集。在这里,ParadeDB 的 top-10 搜索吞吐量是 Turbopuffer 的 1.7 倍,实测召回率为 95.2% 对 94%2。

在继续之前,我们想说明一下,由于几个原因,完全对等的比较并不完全可行:

出于这些原因,我们并不宣称自己比 Turbopuffer 更快,即便结果看起来如此。我们把 Turbopuffer 放进来,是为了说明在两个数据库之间,你可以期待可比的向量搜索性能——而 ParadeDB 跑在仅 8 核 CPU 和 32GB 内存的普通配置上。任何其他 Postgres 向量扩展都做不到这一点。正如你将在下文看到的,在某些带过滤的场景下,它们要慢上数百倍,并且达不到一系列召回率目标。

我们的结果可以用 benchmarker 复现,欢迎验证。

在 2800 万行的 Hacker News 数据集上,我们测试了带日期范围和文本过滤器的 top-10 搜索。例如,带日期范围过滤器的 ParadeDB 向量搜索长这样:

SELECT id FROM hn_items WHERE id @@@ pdb.all() AND time >= '2021-09-09T06:23:25+00:00'::timestamptz ORDER BY emb <=> '[...]'::vector(1536) LIMIT 10;

文本过滤器长这样:

SELECT id FROM hn_items WHERE id @@@ pdb.all() AND "by" = 'rossdavidh' ORDER BY emb <=> '[...]'::vector(1536) LIMIT 10;

在我们的基准测试中,ParadeDB 在较低选择性下与 Turbopuffer 不相上下,在较高选择性下则遥遥领先。例如,当文本过滤器匹配数据集的 0.01% 和 0.001% 时,ParadeDB 的吞吐量分别是 Turbopuffer 的 3.9 倍和 5.6 倍,实测召回率均为 100%。

ParadeDB 的索引本来就已经对文本搜索和分面(facet)具备过滤器感知能力。

把这种能力扩展到向量上的难点在于:选择性越高的过滤器,需要向向量索引做越深、越昂贵的探测,其中大量工作可能被白白扔掉。用 pgvector 以及其他所有向量扩展时,过滤器是在找到向量候选之后才应用的。这意味着,在 1% 选择性的过滤器下,每读取并打分的 100 个向量中,可能只有 1 个能真正进入结果集,其余都是白费功夫。

ParadeDB 避免了这种浪费,因为向量和可过滤字段共享同一个索引。对于上面那些 Hacker News 查询,向量与支持文本搜索和范围过滤的字段被索引在一起:

CREATE INDEX hn_search_idx ON hn_items USING paradedb ( id, title, ("by"::pdb.literal), time, emb vector_cosine_ops );

在做任何与向量相关的工作之前,ParadeDB 先对过滤器求值,得到一个由匹配文档标识符组成的 bitset。在向量搜索过程中,索引会在加载或打分某个向量之前,先拿该候选的标识符去查这个 bitset。没通过过滤器的候选只付出一次快速的 bitset 检查,而不是昂贵的向量计算。

为了说明 ParadeDB 在过滤器求值上有多高效,下图比较了 Cohere 10M 数据集上三种不同选择性的吞吐量:1%、10% 和无过滤。注意,对于给定的召回率目标,带过滤的查询几乎和无过滤查询一样快。

其他任何 Postgres 扩展都做不到这一点,原因在于根本性的架构差异:它们需要为向量和其他字段分别建立索引。我们在之前的一篇博客文章中讨论过,把过滤器与文本索引在一起对性能有多关键。对向量而言同样如此。

下面是 vectorchord 和 pg_vectorsearch 的同类「带过滤 vs 无过滤」对比。在 95% 召回率目标下,施加 1% 的过滤器会让 vectorchord 的吞吐量下降 70 倍,pg_vectorsearch 估计下降 92 倍。

我们选择 pg_vectorsearch 和 vectorchord 作为 Postgres 基线,是因为两者都把向量搜索性能推到了 pgvector 之上。下面是它们与 ParadeDB 在引言中那个带过滤的 Hacker News 查询上的对比56:

热运行 · 单并发客户端 · 图中所示为实测召回率。对比目标为 99% 召回率。低于目标的柱状条显示的是由平均查询时间估算的 QPS,并标注了实测召回率。在下方查看完整对比。

此外,我们测试了六个过滤器,匹配比例从 10% 一直到 0.001%,并设定了三个召回率目标。只有 ParadeDB 达到了全部 18 个召回率目标。vectorchord 达到了 16 个,而 pg_vectorsearch 只达到了 3 个。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →