返回资讯中心
外部精选
软件工程
#开发者实时流

Modem将pgvector换成turbopuffer,数据库整体更快更省

来源标题:Swapping pgvector for turbopuffer made our whole database faster and cheaper

Modem把嵌入向量存储从Postgres的pgvector迁移到turbopuffer后,整个数据库变得更快、成本更低。此前共用pgvector表导致小客户查询最慢,等待时间长达十秒,加HNSW索引反而更糟;迁移后该问题解决。

Hacker News 最新TheFutureIsNear2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

所有文章用 turbopuffer 替换 pgvector,让我们的整个数据库变得更快、更省钱 Justin Giancola Ben Vinegar •2026年11月13日•19 分钟阅读 了解我们共享的 pgvector 表如何让最小的客户变得最慢、为什么 HNSW 索引反而让情况更糟,以及迁移到 turbopuffer 如何让我们的整个数据库变得更快、更省钱。 和许多其他 AI 产品一样,Modem 使用 embeddings。当新的客户消息进来时,我们想知道是否有客户在任何渠道、以任何措辞说过类似的话。Embeddings 是我们回答这个问题的方式之一。 刚开始时,我们希望尽可能少地管理各种组件。因此,这些 embeddings 就存放在带有 pgvector 扩展的 Postgres 里。在很长一段时间里,这都没问题。 后来,我们的搜索开始以一种莫名其妙的方式变慢。一些最小的客户要等上十秒钟才能拿到结果,而我们最大的客户(要扫描的数据最多)却能立刻得到答案。与此同时,我们的数据库计算成本一路飙升。 在这篇文章里,我会解释是什么拖慢了我们的速度、为什么标准的修复方法对我们这样的产品不起作用,以及我们最终如何妥协并切换到 turbopuffer——它把我们的 p90 搜索时间缩短了 76%,并卸掉了数据库上的大部分负载。 Modem 会读取你的团队和用户交流的地方(支持工单、问题跟踪器、通话记录、Slack),并把发现的内容归类为话题。每当它从对话中提取出一个新的客户关注点,就会问数据库:最近是否有任何客户说过类似的话? 为了回答这个问题,我们使用 embeddings。Embedding 是一长串数字(称为向量),由模型根据一段输入文本生成。含义相近的字符串会得到指向相近方向的向量。 刚开始时,我们的数据非常少,也就没有费心为 embeddings 建索引。所以执行这个查询时,Postgres 会查看该客户的近期行,并把每一行与新的 embedding 逐一比较。 这种暴力方法奏效的时间远比它应有的要长。我们的数据库提供商 Neon 慷慨地赠送了免费计算额度,让我们可以超额配置而不是去优化,于是我们就这么做了。而且由于这些向量搜索是作为数据摄取的一部分在若干后台任务中运行的,慢查询对用户来说大多察觉不到。 但随着我们增加更多客户、摄取更多数据,embeddings 的数量开始迅速增长。到 2026 年 8 月,搜索时间中位数约为 0.8 秒,最慢的 1% 长达 28 秒。我们的 Neon 计算资源不断扩容以跟上节奏,而其中相当大一部分竟然就来自这一个查询。最终免费额度用完了,数据库账单到期了,我们很快意识到自己正坐在一个什么样的坑上。 数据库中慢查询的标准修复方法是加索引。但在测试期间,这个索引不仅没有提升性能,反而让情况明显变糟。 pgvector 中标准的向量索引是 HNSW,全称是 Hierarchical Navigable Small World(分层可导航小世界)。许多向量数据库都支持它,向量搜索正是靠它才变快的。 HNSW 不会把你的查询与每一行比较,而是构建一个图,其中每个向量都链接到其最近的邻居,并按从稀疏到完整的层次堆叠。搜索从顶层开始,向最接近的点跳跃,下降一层,重复此过程。你只需查看几百行而不是整张表,答案是近似的,但通常非常好。 举个例子。想象你拿到一张房子的图片,并被要求找出一组看起来像它的房子。你会从分布在世界各地的一小批房子开始,走向那张看起来最像你图片的房子。 假设第一个命中是旧金山的一栋房子。然后你会查看旧金山附近更密集的更多房子,并移动到看起来最像的那一栋,这可能会把你带到像 Pacific Heights 这样的街区。最后,你会在那里的街道上走走,直到周围都是看起来像你图片的房子。这大致就是 HNSW 找到相似向量的方式。 如果 HNSW 能独立回答你的查询,那它很棒。但我们的查询有两个额外的过滤条件: 通常,Postgres 会替你组合索引。你有一个针对 organization_id 的索引,一个针对 timestamp 的索引,查询规划器会从每个索引中取出匹配的行,保留同时属于两者的行,然后继续。这一切都会自动发生,你不需要去想它。 SELECT ... FROM semantic_groups WHERE organization_id = $org_id -- 组织过滤条件 AND timestamp > now() - $time_window -- 时间范围 ORDER BY embedding <=> $candidate LIMIT $count; 但 HNSW 不是这样工作的。常规索引回答的是“哪些行匹配?”,HNSW 回答的是“哪些行最接近?”。而“最接近”适用于向量空间中的所有内容,忽略任何其他过滤条件。换句话说,Postgres 会先在整个表上遍历图,然后再应用你的常规列过滤条件。 在一张被许多客户共享的多租户表上,这是一场灾难。向量查询会从整张表中返回固定数量的候选匹配,然后 organization_id 和时间过滤条件会扔掉所有不属于目标组织或时间范围的内容。这往往意味着,一开始看起来很有希望的候选结果会被削减成空集。 回到找房子的例子。假设你仍然想找出看起来像输入图片的房子,但你有了一个新条件:你只想考虑待售的房子。你像之前一样搜索:旧金山、Pacific Heights、一条满是看起来像你图片的房子的街道。只有到那时你才去查看售房标志。那些房子没有一栋在售,所以你空手而归,尽管沿街往下几栋就有在售的。 这是 pgvector 的一个已知问题。以至于它有一个设置 hnsw.iterative_scan,会不断扩大遍历范围,直到有足够多的行通过过滤条件。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →