返回资讯中心
外部精选
软件工程
#开发者实时流

LEKS 对比三种本地笔记搜索工具与 BM25 基准的评测

来源标题:Local search for coding agents that knows which decision is still current

LEKS 与三种无需 API key 的本地笔记搜索工具及纯 BM25 基准进行对比评测。所有系统在同一批笔记和问题上运行,并新增两组问题集,在单台 Apple 芯片 Mac 上使用各自默认配置。评测脚本与数据在 bench/compare 中公开。

Hacker News 最新Iniraug2026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

LEKS 与三款开源工具同台对比,这些工具在你自己的机器上搜索笔记文件夹,无需 API key,另加一个普通 BM25 基线。所有系统都在相同的笔记和问题上运行,与公开基准一致,另加两个新问题集;每个系统使用自身默认配置,运行在同一台 Apple 芯片的 Mac 上。

本页的撰写方式。笔记、问题、两个新问题集和评分规则在任何工具运行之前就已固定。对留存集 q3 的分析(其度量、16 项配对检验以及本页的措辞规则)在任何系统看到 q3 问题之前就已写好并哈希。每个工具通过一个小型适配器运行:用工具自身的命令或库调用对笔记建立索引,只发送问题文本,并保留其返回的前 20 条笔记。我报告了所有实际运行的配置,包括 LEKS 落败的配置。重新核算表格和重跑系统所需的一切都在 bench/compare 中。

system version what runs models bm25 SQLite 3.53.3 FTS5 bm25(),每条笔记一行,与基准一致 none leks-3.0 3.0.0 词通道,search(q, k=20, per_doc=1, rerank=True) none leks-3.1 3.1.0 在 LEKS 3.1 上调用同一接口 none leks-3.1-models 3.1.0 所有通道以严格模式运行,与基准一致 lightonai/mDenseOn(嵌入器)和 lightonai/mLateOn(重排器) qmd-search 2.8.3 qmd search:基于 SQLite FTS5 的 BM25 none qmd-vsearch 2.8.3 qmd vsearch:执行 qmd embed 后的向量搜索 embeddinggemma 300M qmd-query 2.8.3 qmd query:查询扩展、BM25 与向量融合,然后重排 embeddinggemma 300M、一个 1.7B 查询扩展模型、Qwen3 重排器 0.6B mempalace-default 3.12.0 mempalace search 出厂设置:MiniLM 向量池按 0.6 余弦和 0.4 BM25 重排 all-MiniLM-L6-v2 mempalace-hybrid 3.12.0 MCP 工具 mempalace_search,candidate_strategy="union",该选项在重排前将 BM25 候选合并进向量池(其默认只取向量候选) all-MiniLM-L6-v2 knowledge-rag-hybrid 5.0.1 默认混合模式(alpha 0.3)下的 search_knowledge,带其重排器 bge-small-en-v1.5(ONNX)、ms-marco-MiniLM-L-6-v2

每个系统都在单个进程中回答所有问题。qmd、MemPalace 和 knowledge-rag 的适配器在计时问题之前先发送一个不计时的预热问题;LEKS 的运行不发送预热问题,因此其时间包含第一个问题的启动开销。qmd 适配器保持一个 node 进程,像 CLI 那样打开索引,并以相同选项调用同一个库函数,因此其时间不包含新进程的启动。MemPalace 的两行都请求了 100 条结果,以便 hit@5 和 MRR@10 基于完整的前 10 条计算;第 4.2 节展示了取 5 和 10 时的变化。模型下载在运行前一次性完成,运行期间没有获取任何内容。

笔记是基准中的 714 篇 PEP,已在固定提交处转换为 Markdown。q1、q2 和 q2c 是基准自带的问题集。本次对比新增了两个集合,均由模型按固定规则逐题撰写,再经脚本检查,并在任何系统运行之前冻结:

q3 是结论所依赖的集合。三个标题集偏向于匹配词语的工具,而 LEKS 是在参考基准问题集的情况下构建的;没有任何人参照 q3 进行调优。文件名和哈希在 bench/compare 中。

基准的度量保持不变:q1、q1p 和 q3 使用 hit@1、hit@5 和 MRR@10;q2 和 q2c 使用“较新 PEP 位于前 10 且排在被替换 PEP 之上”的配对占比,以及除此之外,列出的被替换 PEP 是否指向其后继(只有 LEKS 提供这样的指针)。前 10 计数和比率带有 Wilson 95% 区间。我不给出跨集合合并的数字:它们考察的内容不同。

在 q3 上,hit@5 是主要度量。计划在 q3 运行前固定了 16 项配对比较:LEKS 3.1 带模型 对 BM25 以及另外六款工具的每种配置,LEKS 3.1 纯词 对同样的七项,LEKS 3.1 带模型 对 纯词,以及 LEKS 3.1 对 3.0。每项都是针对“一个系统找到而另一个系统未找到”的问题做双侧精确 McNemar 检验,并对全部 16 项做一次 Holm 校正。只有在校正后的 p 低于 0.05 时,本页才说“更好”或“更差”。

每个系统的成本:每题时间的中位数和第 95 百分位、从头构建索引的时间,以及运行期间的最大常驻内存(第 4.4 节说明了如何获取)。

4.1 留存问题(q3)

比率为百分比,带 Wilson 95% 区间;MRR@10 为小数。

q3 hit@5 上的 16 项固定比较。“Only A”统计 A 在前 5 中找到而 B 未找到的问题数;最后一列给出同一对在 q1p 上的差值,未做检验。

LEKS 带模型在 q3 的每项度量上都领先。检验中最接近的配置是 qmd query:67 个问题只有 LEKS 在前 5 中找到,而只有 qmd query 找到的是 19 个(Holm p 1.2e-6)。模型为 LEKS 在纯词基础上增加了 17.1 个百分点(126 个问题对 7 个)。在纯词上,LEKS 3.1 优于 BM25(113 对 43,Holm p 1.5e-7)和 qmd search;在这 695 个问题所能区分的范围内,与 qmd vsearch(Holm p 0.24)和 MemPalace 的默认搜索(0.11)持平;但劣于带 BM25 候选的 MemPalace(0.0082)、knowledge-rag(3.4e-5)和 qmd query(1.8e-7)。LEKS 3.1 和 3.0 在前 5 中找到相同的 q3 问题:3.1 没有改动任何搜索通道。

标题集对 qmd query 的排名不同。在 q1p(改写标题)上,它在 hit@5 上与 LEKS 带模型持平(90.6% 对 91.1%);在 q3(运行前固定的集合)上,它落后 6.9 个百分点。qmd search 用 AND 连接问题中的词(第 4.2 节),找到 16.7% 的 q3 问题。

计划固定的漏检审计。LEKS 带模型在 hit@5 上漏掉 46 个 q3 问题,qmd query 漏掉 94 个。我用计划中的种子各抽取 20 个,并在同一张不标明系统的表格上评判全部 40 个,依据是数据之前写好的规则:最高命中结果的标题或摘要是否陈述了问题所问的内容。之后我才打开答案键。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →