
Ferrovec Retrace 发布:本地对已读网页做语义搜索的 Chrome 扩展
来源标题:Show HN: Ferrovec Retrace – semantic search over pages you've read, all local
Ferrovec Retrace 是一款在本地对用户读过的网页做语义搜索的 Chrome 扩展,已以 0.1.1 版上架 Chrome Web Store。它把访问页面的可读文本用内置小型嵌入模型转成向量,数据只存在浏览器中,无需账号、服务器或 API key,要求 Chrome 116 以上。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
对你看过的每个页面做语义搜索。只存储在你的浏览器里。无需账户、无需服务器、无需 API key。
Ferrovec Retrace 是一个基于 ferrovec 构建的 Chrome(Manifest V3)扩展。它保存你访问页面的可读文本,用扩展内置的小型 embedding 模型将其转成向量,并让你按语义搜索。搜索“那篇讲构建为什么变慢的文章”,即使这些词从未在页面中出现,它也能找到该页面。
状态:版本 0.1.1,已上架 Chrome Web Store。你也可以以未打包方式加载(见下文)。
从 Chrome Web Store 安装。需要 Chrome 116 或更新版本。
从 Ferrovec Retrace 0.1.1 发布页下载 ferrovec-retrace-0.1.1-chromium.zip。
解压。
打开 chrome://extensions,开启开发者模式,点击“加载已解压的扩展程序”,选择解压后的文件夹。需要 Chrome 116 或更新版本。
方式三:从源码构建
1. build the ferrovec JS package
cd js && npm install && npm run build
2. build the extension
cd ../extensions/retrace npm install npm run fetch-model # downloads the MiniLM model files once, to bundle them npm run build # writes extensions/retrace/dist
然后打开 chrome://extensions,开启开发者模式,点击“加载已解压的扩展程序”,选择 extensions/retrace/dist。需要 Chrome 116 或更新版本。
未打包的扩展为 36 MiB(其中 22 MB 是模型,13 MB 是 onnxruntime wasm)。
在地址栏输入 rt、一个空格,以及你记得的内容。例如:rt tutorial about sqlite wal mode。
或点击工具栏图标打开搜索页。
结果按页面分组。强匹配排在前面;较弱的匹配收在展开项之后。
隐私控制(见下文)位于搜索页和扩展的选项页。
Retrace 只知道你安装它之后打开的页面。它不会导入你的浏览器历史记录。
Retrace 在 http 和 https 页面上运行内容脚本。对每个页面,它会:
未捕获:隐身窗口、file: 及其他非 http 页面,以及首次加载之后的单页应用导航(内容脚本每次文档加载只运行一次)。
暂停与恢复。暂停期间,工具栏徽标显示“off”,不索引任何内容。
屏蔽列表。可编辑,每行一个模式。默认覆盖银行与支付、网页邮箱与即时通讯、健康以及登录类主机。该列表刻意设得较宽;想索引哪一项就删掉哪一条。
忘掉此站点、忘掉最近一小时、删除全部。
关于已存储内容的统计信息,以及 JSON 导出。
忘掉是真的删除
从搜索索引中移除文档通常只是把它藏起来。执行“忘掉”之后,Retrace 会调用 ferrovec 的 compact(),它会重建索引并重写两个快照槽和预写日志。随后端到端测试会搜索 Retrace 的磁盘存储文件,找不到被忘掉文本、段落 id、URL 或标题的任何痕迹。
有两点需要注意。每个 URL 的小型簿记记录(URL 和标题)会从 IndexedDB 中删除,但其字节可能残留在 IndexedDB 的 LevelDB 日志文件中,直到 Chromium 将其压缩。另外,Chromium 自身的历史记录和缓存仍然知道该页面;这不在 Retrace 的管辖范围内。
page -> content script (Readability, skip rules) -> service worker (queue, settings, omnibox) -> offscreen document: ferrovec worker + OPFS + wasm HNSW + MiniLM -> search page (grouped results)
内容脚本提取文本并发送给 service worker。
service worker 应用暂停和屏蔽列表规则,将文本分块,并把任务加入队列。队列最多容纳 200 个页面。
存储位于一个 offscreen document 中,因为 service worker 无法承载 ferrovec worker。它持有一个 ferrovec 存储(OPFS、崩溃安全的快照和预写日志、wasm 中的 HNSW)。它在空闲 5 分钟后自行关闭,并按需重新打开。
模型(Xenova/all-MiniLM-L6-v2,q8)和 onnxruntime wasm 打包在扩展内。运行时不会获取任何内容。内容安全策略为 script-src 'self' 'wasm-unsafe-eval'。
权限:storage、unlimitedStorage 和 offscreen,以及在 http 和 https 页面上的内容脚本。除内容脚本外没有主机权限,也没有网络权限。
验证
在 Playwright Chromium(新无头模式,--load-extension)中运行:
omnibox(rt)无法在无头模式下驱动,因此自动化测试未覆盖 omnibox 建议。
一台 Linux 桌面,单线程 wasm。你的机器会有所不同。
索引每个长页面大约消耗 1 秒 CPU,在后台进行。队列容纳 200 个页面,在大量浏览时会丢弃最旧的。
内存占用尚未测量。
已测试到约 2.9k 个段落。每个检查点都会重写完整快照,因此开销随存储增长。
单页应用导航不会被重新捕获。
什么算作接近匹配是在 35 个真实页面上测得的(test/RELEVANCE.md)。在调优之后编写的查询上:84% 的接近匹配是正确的页面,95% 的正确页面被显示为接近,10 个关于索引中不存在内容的问题中有 7 个没有显示接近结果。关于与你读过内容相近主题的问题(读完金字塔后问狮身人面像)仍可能把该页面显示为接近,而对若干相似页面之一(一本书的相邻章节)措辞宽泛的查询可能显示一个相邻章节,或者没有接近结果,而该页面出现在较弱的列表中。
一个页面只有前 12 个段落(约 2,600 词)会被索引。
omnibox 建议未被自动化测试覆盖。
仅在 Chrome Web Store 上架。Edge、Firefox 和 Safari 没有商店列表。
浏览器支持
浏览器 状态 Chrome 116+ 已测试 Edge、Brave 预计可用(同一引擎,manifest 中没有 Chrome 专属内容)。未测试 Firefox 计划移植,尚未构建 Safari 不计划
开发
cd extensions/retrace npm run typecheck # tsc --noEmit npm test # unit tests npm run e2e # end-to-end run in Chromium (needs dist built) npm run bench # scale benchmark (needs dist built)
这需要的库改动
构建 Retrace 为 ferrovec 增加了两样东西。两者都随 ferrovec 0.6.0 发布,扩展针对本地 js/ 包构建。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。