返回资讯中心
外部精选
软件工程
#开发者实时流

Ferrovec Retrace 发布:本地对已读网页做语义搜索的 Chrome 扩展

来源标题:Show HN: Ferrovec Retrace – semantic search over pages you've read, all local

Ferrovec Retrace 是一款在本地对用户读过的网页做语义搜索的 Chrome 扩展,已以 0.1.1 版上架 Chrome Web Store。它把访问页面的可读文本用内置小型嵌入模型转成向量,数据只存在浏览器中,无需账号、服务器或 API key,要求 Chrome 116 以上。

Hacker News 最新aiexplore3692026/11/18 · 今天15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

对你看过的每个页面做语义搜索。只存储在你的浏览器里。无需账户、无需服务器、无需 API key。

Ferrovec Retrace 是一个基于 ferrovec 构建的 Chrome(Manifest V3)扩展。它保存你访问页面的可读文本,用扩展内置的小型 embedding 模型将其转成向量,并让你按语义搜索。搜索“那篇讲构建为什么变慢的文章”,即使这些词从未在页面中出现,它也能找到该页面。

状态:版本 0.1.1,已上架 Chrome Web Store。你也可以以未打包方式加载(见下文)。

从 Chrome Web Store 安装。需要 Chrome 116 或更新版本。

从 Ferrovec Retrace 0.1.1 发布页下载 ferrovec-retrace-0.1.1-chromium.zip。

解压。

打开 chrome://extensions,开启开发者模式,点击“加载已解压的扩展程序”,选择解压后的文件夹。需要 Chrome 116 或更新版本。

方式三:从源码构建

1. build the ferrovec JS package

cd js && npm install && npm run build

2. build the extension

cd ../extensions/retrace npm install npm run fetch-model # downloads the MiniLM model files once, to bundle them npm run build # writes extensions/retrace/dist

然后打开 chrome://extensions,开启开发者模式,点击“加载已解压的扩展程序”,选择 extensions/retrace/dist。需要 Chrome 116 或更新版本。

未打包的扩展为 36 MiB(其中 22 MB 是模型,13 MB 是 onnxruntime wasm)。

在地址栏输入 rt、一个空格,以及你记得的内容。例如:rt tutorial about sqlite wal mode。

或点击工具栏图标打开搜索页。

结果按页面分组。强匹配排在前面;较弱的匹配收在展开项之后。

隐私控制(见下文)位于搜索页和扩展的选项页。

Retrace 只知道你安装它之后打开的页面。它不会导入你的浏览器历史记录。

Retrace 在 http 和 https 页面上运行内容脚本。对每个页面,它会:

未捕获:隐身窗口、file: 及其他非 http 页面,以及首次加载之后的单页应用导航(内容脚本每次文档加载只运行一次)。

暂停与恢复。暂停期间,工具栏徽标显示“off”,不索引任何内容。

屏蔽列表。可编辑,每行一个模式。默认覆盖银行与支付、网页邮箱与即时通讯、健康以及登录类主机。该列表刻意设得较宽;想索引哪一项就删掉哪一条。

忘掉此站点、忘掉最近一小时、删除全部。

关于已存储内容的统计信息,以及 JSON 导出。

忘掉是真的删除

从搜索索引中移除文档通常只是把它藏起来。执行“忘掉”之后,Retrace 会调用 ferrovec 的 compact(),它会重建索引并重写两个快照槽和预写日志。随后端到端测试会搜索 Retrace 的磁盘存储文件,找不到被忘掉文本、段落 id、URL 或标题的任何痕迹。

有两点需要注意。每个 URL 的小型簿记记录(URL 和标题)会从 IndexedDB 中删除,但其字节可能残留在 IndexedDB 的 LevelDB 日志文件中,直到 Chromium 将其压缩。另外,Chromium 自身的历史记录和缓存仍然知道该页面;这不在 Retrace 的管辖范围内。

page -> content script (Readability, skip rules) -> service worker (queue, settings, omnibox) -> offscreen document: ferrovec worker + OPFS + wasm HNSW + MiniLM -> search page (grouped results)

内容脚本提取文本并发送给 service worker。

service worker 应用暂停和屏蔽列表规则,将文本分块,并把任务加入队列。队列最多容纳 200 个页面。

存储位于一个 offscreen document 中,因为 service worker 无法承载 ferrovec worker。它持有一个 ferrovec 存储(OPFS、崩溃安全的快照和预写日志、wasm 中的 HNSW)。它在空闲 5 分钟后自行关闭,并按需重新打开。

模型(Xenova/all-MiniLM-L6-v2,q8)和 onnxruntime wasm 打包在扩展内。运行时不会获取任何内容。内容安全策略为 script-src 'self' 'wasm-unsafe-eval'。

权限:storage、unlimitedStorage 和 offscreen,以及在 http 和 https 页面上的内容脚本。除内容脚本外没有主机权限,也没有网络权限。

验证

在 Playwright Chromium(新无头模式,--load-extension)中运行:

omnibox(rt)无法在无头模式下驱动,因此自动化测试未覆盖 omnibox 建议。

一台 Linux 桌面,单线程 wasm。你的机器会有所不同。

索引每个长页面大约消耗 1 秒 CPU,在后台进行。队列容纳 200 个页面,在大量浏览时会丢弃最旧的。

内存占用尚未测量。

已测试到约 2.9k 个段落。每个检查点都会重写完整快照,因此开销随存储增长。

单页应用导航不会被重新捕获。

什么算作接近匹配是在 35 个真实页面上测得的(test/RELEVANCE.md)。在调优之后编写的查询上:84% 的接近匹配是正确的页面,95% 的正确页面被显示为接近,10 个关于索引中不存在内容的问题中有 7 个没有显示接近结果。关于与你读过内容相近主题的问题(读完金字塔后问狮身人面像)仍可能把该页面显示为接近,而对若干相似页面之一(一本书的相邻章节)措辞宽泛的查询可能显示一个相邻章节,或者没有接近结果,而该页面出现在较弱的列表中。

一个页面只有前 12 个段落(约 2,600 词)会被索引。

omnibox 建议未被自动化测试覆盖。

仅在 Chrome Web Store 上架。Edge、Firefox 和 Safari 没有商店列表。

浏览器支持

浏览器 状态 Chrome 116+ 已测试 Edge、Brave 预计可用(同一引擎,manifest 中没有 Chrome 专属内容)。未测试 Firefox 计划移植,尚未构建 Safari 不计划

开发

cd extensions/retrace npm run typecheck # tsc --noEmit npm test # unit tests npm run e2e # end-to-end run in Chromium (needs dist built) npm run bench # scale benchmark (needs dist built)

这需要的库改动

构建 Retrace 为 ferrovec 增加了两样东西。两者都随 ferrovec 0.6.0 发布,扩展针对本地 js/ 包构建。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →