返回资讯中心
外部精选
软件工程
#开发者实时流

NestDaddy 推出独立搜索 API,自带爬虫和索引不依赖 Google 或必应

来源标题:Show HN: NestDaddy, an independent search API with its own crawler and index

NestDaddy 发布独立搜索 API,自带爬虫、倒排索引、排序和新闻采集,底层不依赖 Google、Bing 或 Elasticsearch。整套系统运行在一台 48 GB 内存的服务器上,搜索路径与爬虫、索引器相互隔离,任一部分故障不会拖垮其他部分。

Hacker News 最新nestdaddy2026/11/12 · 5 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

NestDaddy 运行自己的爬虫、自己的索引和自己的排名,底层不依赖 Google、Bing 或 Elasticsearch。下面讲讲各部分如何拼接、哪里出了故障,以及我们一路上的测量数据。 NestDaddy 团队 · 2026年11月12日 · 阅读约7分钟 大多数“搜索 API”只是对 Google 或 Bing 结果的一层薄封装。NestDaddy 不是。它有自己的爬虫、自己的倒排索引、自己的排名和自己的新闻采集,全部运行在一台 48 GB 内存的服务器上。 本文介绍各部分如何拼在一起、我们在生产环境中遇到的问题,以及我们用来决定修什么的数字。如果你正考虑自己构建搜索,或者想知道你调用的 API 背后是什么,本文就是为你写的。 共有四个部分,每个部分都可以在不拖垮其他部分的情况下失败: 把它们串起来的规则是:搜索路径从不等待爬虫或索引器,而它们两者也不能让搜索路径缺 CPU 或内存。 行为异常的爬虫会被封禁,而内存耗尽的爬虫会把整台机器一起拖垮。所以我们的爬虫是围绕限制构建的。 最后一点比听起来更重要。本月有一天,爬虫达到了内存上限并重启了 36 次。搜索延迟、数据库以及机器上的其他所有服务都未受影响。这道围栏把一次生产事故变成了一行日志。 索引是存储在 RocksDB 中的倒排索引:对每个词项,一个文档 ID 的倒排列表,外加用于 BM25 的每文档统计信息。 我们选择 RocksDB 而不是搜索服务器,原因有三。它是一个库,所以不需要运行额外的服务。它专为快速点查找和多键获取而构建,而这正是查询要做的事。而且它可以被多个进程以只读方式打开,同时另一个进程在构建下一个版本。 文本在进入索引之前会经过一个分词器(小写化、停用词、带记忆化的 Porter 词干提取器),每个查询也运行同一个分词器。 我们最初的流水线在索引目录打开时进行复制。在废弃它之前,这产生了两个损坏的索引文件。现在的切换故意做得很无聊: 保留前两代,所以回退是一次重命名,而不是一次恢复。 排名器是 BM25 加上一些实用补充:两阶段预评分(先处理稀有词项,然后用一次 RocksDB 多键获取按词频对前 3,000 个候选重新排名)、面向导航查询的域名匹配信号,以及将图片文档排除在网页结果之外。 我们不会凭感觉改排名。一个由 40 个真实查询组成的小型评估集,每个都有判定标准(“正确答案是这个 URL 模式”或“这个网站的主页”),在每次更改后对实时索引运行。我们在 11 月发布的修复使: 这些变化本身并不光鲜:用真实文档频率代替估计值来计算 IDF、从真实文档测量平均文档长度、用确定性采样代替随机采样,以及将图片排除在网页搜索之外。 当搜索变慢时,排名器很少是问题所在。对实时 worker 做性能剖析发现了三个意外。 一个正则表达式。分词器用 \S+@\S+ 去除电子邮件地址。在某些输入上,该模式会以二次方复杂度回溯,一个查询持有 Python GIL 超过一分钟。修复方法是一个输出相同且线性时间的模式:(?<!\S)(?=\S+@\S)\S+。 索引从 RAM 中消失。从磁盘冷读索引会把 0.2 秒的查询变成数秒。我们添加了一个小服务,每十分钟检查索引文件的哪些部分驻留在内存中(mincore),并且只读回缺失的部分,我们还给了它一个 cgroup 内存保证,这样内核会优先驱逐其他文件。有一个细节花了我们一下午:cgroup v2 的内存保护是分层的。在该服务上设置 MemoryMin 毫无效果,直到父 slice 拥有同样的保证。 一个被遗忘的 cron 任务。即使有了那层保护,整个索引仍然每小时从 RAM 中消失一次。原因是 /etc/cron.hourly 中一行运行 echo 1 > /proc/sys/vm/drop_caches 的脚本,一个古老的“释放内存”技巧。丢弃缓存完全无视 cgroup 保护。移除它后,我们评估集上的查询时间中位数从 0.59 秒回到 0.22 秒。 我们不断重新领悟的教训:在真实机器上测量,并且在信任一张图之前阅读每一个计划任务。 独立意味着也要承担弱点。以下是我们目前正在处理的: 因为你拥有的索引是没有人能关掉的索引。微软于 2025 年 8 月退役了 Bing Search API,许多应用一夜之间失去了搜索能力。需要原始结果、按国家分类的新闻,或供 AI agent 使用的可读页面文本的产品,需要一个以纯 JSON 响应且不依赖他人路线图的来源。 这就是 NestDaddy 的用途。你可以在 nestdaddy.com/apis 用免费 7 天密钥试用搜索、新闻和页面提取 API,或者通过 nestdaddy.com/mcp 将它连接到 Claude、Cursor 或任何 MCP 客户端。 如果你对本文任何部分有疑问,或者你构建过类似的东西想交流,我们很乐意听到你的声音。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →