返回资讯中心
外部精选
软件工程
#开发者实时流

自建搜索引擎搜Supabase定价却返回T. Rowe Price,团队排查出三个排序bug

来源标题:Why our search engine returned T. Rowe Price for "Supabase pricing"

一家自建搜索引擎的团队用「X pricing」测试时,「supabase pricing」的榜首结果竟是投资机构T. Rowe Price的页面。作者称这一查询暴露出三个排序bug:候选采样、重复套用词干提取器,以及从未被打分的主页,均属藏在「大体能用」排序流程背后的问题。

Hacker News 最新nestdaddy2026/11/16 · 昨天15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为什么我们的搜索引擎在搜“Supabase pricing”时返回了 T. Rowe Price

我们自己的搜索引擎里有三个排序 bug,用一个简单的测试就找了出来:搜“X pricing”会不会返回 X 的定价页?候选采样、被应用了两次的词干提取器,以及从未被打分的首页。

Alex C. · 2026年11月16日 · 阅读时长 6 分钟

我们运营着自己的网页搜索引擎,有自己的爬虫和索引。上周有人告诉我们,他们打算用同一组简单问题去测每一个搜索 API,比如“notion pricing”或“figma pricing”,看排在第一的是不是正确的页面,以此来做基准对比。

于是我们先自己试了一遍。“linear pricing”返回了 linear.app/pricing。“notion pricing”也没问题。然后我们输入“supabase pricing”,得到的第一条结果是:

troweprice.com,一个关于投资洞察的页面。

T. Rowe Price。一家基金管理公司。和 Supabase 毫无关系。

就是这一个查询,让我们发现了三个彼此独立的 bug。它们都不算离奇,而且都属于那种藏在“大体能用”的排序流水线背后的问题。下面说说它们是什么,以及我们怎么修的。

按 Run 调用 API。 演示 key,每位访客调用次数有限。 获取你的免费 API key

查询在我们的排序器里如何流转

要理解这些 bug,你需要先大致了解流水线的形状:

每个阶段交给下一阶段的列表都更小。一个早早被淘汰的页面,后面就再也没有机会了,不管它有多好。

对于两个词的查询,第 2 步取交集:同时包含这两个词的页面。代码为交集过小的情况准备了一个兜底:

candidates = docs[a] & docs[b] if len(candidates) < 20: candidates = docs[a] | docs[b] # 用并集扩大范围

看起来挺合理。但当其中一个词很罕见、另一个词非常常见时,就不合理了。

“figma”出现在相对较少的页面里。“price”出现的页面大约多出一百倍。同时包含这两个词的页面很少,而它们恰恰就是正确的那些(figma.com/pricing 就在其中)。但因为数量少于 20,代码就用两个列表的并集替换掉了这个小而精确的集合。这样一来,几乎所有候选都只是提到了“price”的页面。第 3 步再把这个巨大的集合采样到预算范围内,那一小撮真正的匹配很可能在任何东西给它们打分之前就被丢掉了。

这就是一家基金管理公司能赢下“supabase pricing”的原因:在成千上万个只说了“price”的页面里,一个大型、权威的金融网站得分很高。

修复方式:保留所有完整匹配,只用特定的那个词来扩大范围。

both = docs[a] & docs[b] if len(both) < 20: specific = [t for t in terms if df(t) <= 50_000] or terms rest = union(docs[t] for t in specific) - both rest = even_sample(rest, budget - len(both)) # 绝不丢弃完整匹配 candidates = both | rest

不含品牌名的页面,很少是输入“figma pricing”的人想要的,所以只靠“price”来扩大范围从来就没用。而且扩大后的集合保持在采样阈值以下,完整匹配就能存活到打分阶段。

修好 Bug 1 之后,我们的离线评估看起来很棒,但线上站点仍然返回 T. Rowe Price。评估脚本是直接调用排序器的。网站还多经过一层,这一层会为缓存 key 对查询做规范化:

tokens = tokenize(query) # ["supabas", "price"] normalized = " ".join(tokens) # "supabas price" results = ranker.search(normalized) # 排序器又做了一次分词

排序器会对输入做分词和词干提取。于是已经被提取过词干的文本又被提取了一次,而 Porter 词干提取器不是幂等的:

“supaba”在任何文档里都不是一个词。查询的两个词中有一个匹配不到任何东西,查询实际上就变成了“price”。和 Bug 1 症状相同,原因却完全不同。

这并不只影响 Supabase。任何词,只要再次提取词干时词干会发生变化,在网站上就是坏的,而所有离线测试都通过了。修复只改了一行:把原始查询传给排序器,规范化形式只用作缓存 key。

教训:要通过用户实际经过的同一条代码路径来做评估。我们的评估跳过了一层,而 bug 就住在那一层里。

修好这两个之后,我们跑了通用评估集,发现了另一种模式:单词导航类查询,比如“python”或“petronas”,返回的是深层页面而不是首页。

第 1 阶段只知道词是否出现以及词频。对于单词查询,每个候选都包含这个词,所以它们全部打平,而平局是按文档 id 打破的。首页往往很短(词频低),而且往往被爬取得早(id 小)。于是它们一次又一次地输掉平局,从未被加载进第 2 阶段——而在那里,域名匹配本会把它们排到第一。我们手工给 python.org 打分时,它的得分几乎是我们当时返回的那个页面的四倍。它只是从来没被打过分。

我们第一版“以查询命名”的规则太宽松了:任何查询词出现在主机名里就算。这立刻弄坏了“stripe pricing”——stripe.com 的首页跳到了它的定价页上面;也弄坏了“windows 11 download”——一个位于 download. 子域上的首页跳到了最上面。我们最终保留的规则是:每个查询词都必须是主机名的一个标签,或者这些词连在一起必须是一个标签。“petronas”匹配 petronas.com;“stripe pricing”不匹配 stripe.com。

部署之后,我们用惯用的一行命令清空搜索缓存:

redis-cli --scan --pattern "search_cache:*" | xargs redis-cli del

我们的缓存 key 包含规范化查询和一段 JSON 过滤器,所以里面有空格和引号。xargs 把每个 key 都拆成了碎片,del 被用不存在的 key 调用,结果什么都没删掉。也没有报错。站点继续返回旧答案好几个小时,而我们还在纳闷为什么修复“没生效”。改用几行 Python 通过 scan_iter 删除 key 之后,问题解决了。

我们现在为这种确切的情况保留了一个小型评估集:20 个知名产品的“X pricing”查询,判断标准是产品的定价页是否排在第一位。

定价集里最慢的查询也从大约 1.0 秒降到了大约 0.5 秒,因为现在候选集更小了。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →