
MapNet:为本地大模型提供实时、权限感知的检索方案
来源标题:MapNet: Live, permission-aware retrieval for local LLMs
MapNet 是一款研究原型,它不依赖大模型记忆或统一搜索索引,而是像 DNS 一样维护知识位置地图,让本地小模型只读取地图指向的少量段落来作答。项目已在包含最多 92000 篇文档的合成基准上端到端跑通,但尚未在大型真实语料上测试。使用时可通过 ollama 拉取 qwen2.5:3b 等小模型,示例中 MapNet 在 0.1 秒内映射 18 个文件并据此回答带来源的问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个私有的小模型,它知道知识存放在哪里,而不是知道所有知识本身。
MapNet 的思路不是用一个巨大的模型去记住整个世界,也不是对一切建一个扁平的搜索索引,而是维护一张实时的地图,记录每一条知识在哪里——就像 DNS 知道哪个服务器持有某个域名一样。一个小型的本地模型只需要读取地图指向的那几段文字,然后写出答案。
状态:研究原型。它在附带的示例公司和最多 92,000 篇文档的合成基准上可以端到端运行,但尚未在大型真实语料上测试。
git clone https://github.com/devinvok/MapNet.git cd MapNet pip install -r requirements.txt
一个小型本地模型(可选:不装的话,你会得到最佳段落而非答案)
ollama pull qwen2.5:3b python ask.py examples/company
示例会话(答案的措辞取决于所用模型):
MapNet mapped 18 files (18 passages) in 0.1s. Model: qwen2.5:3b (local). Watching for changes.
亲生父母有多少周带薪育儿假? 亲生父母享有 20 周全额带薪育儿假。(来源:hr/parental-leave-policy.md) via map | hr, chat | opened 3 of 18 files | lookup 13 ms, answer 1.4s | note #1 left for next time
然后,在它运行期间,往文件夹里丢一个新文件(试试 cp examples/drop-in/2026-10-23-checkout-outage.md examples/company/engineering/), 立刻针对它提问。
把它指向你自己的文件夹:python ask.py ~/Documents/work。支持:.md、.txt、.csv、.pdf、.docx 以及其他纯文本格式。其他模型: --model llama3.2:3b、--model phi4-mini、--model gemma3:4b。角色: --role hr,finance。会话内命令:/map、/notes、/role <names>、/quit。
question ──► notes: has an agent already found this? ──yes──► open that one file │ no │ ▼ │ walk the map (root → department → topic → file) │ │ keep the best few branches at each level │ ▼ ▼ a handful of passages ─────────────► small local model ─► answer + source │ └──► solid answer? leave a note for the next agent
地图中的每个节点都会就其下方的一切声明:
地图并不止步于文件。和 DNS 一样,解析是从一般到具体的:文件夹地图把你带到文件,文件自身的地图把你带到段落。每个文件在第一次被某个问题命中时才会被建图:本地模型为每一节写一张小卡片,说明它涵盖什么,以及人们会用自己的话怎么问,于是“为什么我的 namespace 卡在删除状态?”会落到讲 finalizers 的那一页上。地图像 DNS 应答一样被缓存:再次访问是瞬时的,改动过的文件会在下次访问时重新建图,而卡片会向上流入文件夹地图,从此这个文件更容易被找到。查找过程中触及但未打开的文件会在后台建图,每个文件在电脑空闲时都会在文件夹层面获得一行描述,这样路由器就能找到还没人访问过的文件。加上 --meaning 后,地图还会按语义遍历(用一个小型本地嵌入模型):它对地图做嵌入,每个文件一个向量,到达时每节一个向量,而不是每段一个向量;而且它只会给词路由器增加候选,所以错误的猜测不会把正确的挤出去。
工作被拆分成三个角色,使用差异很大的模型:一个微小的导航器,在每个问题上遍历地图,从不写文本;一个制图师,每个文件只写一次地图;一个阅读器,只看到找到的那几段文字,所以它可以是更大的模型(--reader-model、--map-model)。卡片只用于引导路由,绝不会展示给作答模型。(要提前为整个文件夹建图:python -m mapnet.cards FOLDER。)
这个想法来自一种真实的失败模式:智能体发现了一个共享空间,然后开始互相留下指令。MapNet 的笔记是刻意受限的:
| 命令 | 展示内容 |
|---|---|
| python ask.py examples/company | 对文件夹进行交互式、私有问答,实时更新 |
| python agents_demo.py | 后来的智能体 1 步就能到达正确文件,而非约 10 步;对笔记的五项安全检查 |
| python compare.py | 27 个问题上的准确率、token 和时间,其中包括 2 个关于几秒前刚添加的文件的问题 |
| ANTHROPIC_API_KEY=... python compare.py --cloud --price-in 3 --price-out 15 | 同上,并与一个大型云端模型并排对比(读取相同的段落,以及读取每个文件) |
| python research/benchmark.py | 在最多 2,304 个系统的合成公司上对比地图与扁平搜索 |
| bash realtest/setup.sh && python -m realtest.run | 真实测试:1,700 份真实 Kubernetes 文档、40 个手写问题、一个本地 3B 模型,对比基于关键词和嵌入的全量搜索。见 realtest/README.md |
录制演示方案见 docs/DEMO_SCRIPT.md(2 分钟)。
示例公司(agents_demo.py),18 个文件,8 个任务:
合成基准(research/),普通问题:
真实文档(realtest/),475 份 Kubernetes 文档(概念、任务、教程、安装), 7,703 个段落,每个问题交给阅读器 4 个段落,嵌入使用 nomic-embed-text,全部在一台 CPU 笔记本上运行。“正确文件”指问题所依据的那个文件出现在返回的 4 个段落之中。
答案,由 qwen2.5:7b 阅读那 4 个段落(35 个手写问题,判定对或错):
诚实的解读:token-net+rerank 找到正确文件的频率与嵌入搜索相当,但交给阅读器的段落略差,这导致 35 个答案中有 3 个出错。在日常问题的测试半集上(108 个问题,方法在另一半上选定后只评分一次),它找到正确文件的比率为 51%,而 embed-all 为 56%。所以在这里,对每个段落做嵌入仍然是更准确的搜索;token-net+rerank 提供的是这样一种搜索:从不预先对语料做嵌入(在尚无缓存时每题 7 秒),下一个问题就能看到新文件,并且只对调用方有权打开的內容评分。样本很小:一个手写问题大约值 3 分,而一个 7B 评判器只把 220 个生成问题中的 114 个视为合理,所以请把几分之差当作噪声。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。