
RushDB 3 弃用 Neo4j,改用自研 Rust 存储引擎
来源标题:Time to move on: why RushDB took the hard path off Neo4j
RushDB 3 不再基于 Neo4j,转而运行在自研的 Rust 存储引擎上,同时保留原有 API 承诺。前两个大版本中 RushDB 一直是 Neo4j 之上的 API 层。团队称此举是为摆脱模拟数据模型、按约定实现多租户、向量后过滤以及只能通过 Cypher 访问等限制。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
RushDB 3 为什么离开 Neo4j,转而使用自己的 Rust 引擎:一个被模拟的数据模型、靠约定维持的租户隔离、事后过滤的向量、Cypher 作为唯一的入口。以及这一切付出了什么代价。
在两个大版本中,RushDB 一直是构建在 Neo4j 之上的 API。你推送 JSON,我们把它转换成相互关联的记录,并跟踪每一个字段、类型和值,这样你(以及后来的你的 agent)就能在查询之前看到数据里有什么。RushDB 3 保留同样的承诺,但它运行在我们自己的存储引擎上,用 Rust 编写。
自己写数据库引擎是条难走的路。所有人都告诉你不要这么做,而且我认为他们通常是对的。所以我想解释一下我为什么还是做了,按顺序,按它实际发生的样子。
先说一件事。这不是一篇“Neo4j 哪里不好”的文章。Neo4j 支撑了 RushDB 多年。他们的团队花了不少时间与我们交流,我们谈得很好,RushDB 也被纳入了他们的创业公司计划。关于在生产环境运行图数据库的知识,我大部分都是在 Neo4j 上学到的。它是一个成熟、可靠的数据库。它只是不再是 RushDB 发展成的样子所需要的正确基础,而到了某个时候,就该往前走了。
RushDB 围绕一个我称之为 LMPG 的模型构建,即 Labeled Meta Property Graph(带标签的元属性图)。在普通的属性图中,属性是挂在节点上的特性。在 LMPG 中,属性是一等公民:每个属性都是一个带类型的定义,被所有使用它的记录共享。这正是让最初那些问题变得廉价的原因。这个标签有哪些字段?什么类型?存在哪些值,每个值被多少条记录携带?一个 agent 应该能在写下哪怕一条查询之前就问出这些:问题 -> schema -> 过滤 -> 剩下的部分的 schema -> 精确查询。
在 Neo4j 上我们是模拟它的。每条记录是一个节点,其值是普通属性。每个项目中的每个(名称、类型)对都有自己的属性节点,链接到携带该字段的每一条记录。而由于属性节点无法告诉你某条具体记录上某个字段的类型,每条记录还保存了一个 JSON 字符串,记录自己的类型映射。这是 2.x 写入路径的核心,略有删节:
Copy SET record.RUSHDB__KEY__PROPERTIES__META = apoc.convert.toJson(typesMap) SET record += valuesMap WITH record UNWIND $properties AS prop MERGE (p:RUSHDB__LABEL__PROPERTY { name: prop.name, type: coalesce(prop.type, 'string'), projectId: $projectId }) MERGE (p)-[:RUSHDB__RELATION__VALUE]->(record) DiagramClick to expand
对某些问题,这种结构非常好。统计有多少条记录拥有某个属性,就只是统计关系数量,而 Neo4j 做这件事无需触碰值。我们的 2.x 代码里甚至有一条关于此的注释:“Neo4j 展开并计数,从不触碰值存储。”
对最重要的问题,它充其量是 O(n)。过滤器匹配到的那些记录的字段?展开每一条匹配记录的键。某个字段的去重值?遍历每一条 VALUE 边,从每条记录读出值,去重,然后才切分页。重命名字段?在每一条拥有它的记录上重写 JSON 类型映射。在值上搜索?一个不区分大小写的正则,没有任何索引帮得上忙。
在小项目上没人注意到。在最大的项目上,这是所有人都注意到的主要问题,因为它随数据线性扩展,而这削弱了 LMPG 的核心承诺。schema 本应是廉价的那部分。
我们的 2.x 更新日志读起来就像一部与之斗争的历史:导入“可能触及 30 秒事务上限并直接失败”(所以我们把预算翻倍到 60 秒),一次 schema 重建“是在单个事务内的一次单体全图扫描”,AI schema 端点会“在大项目上阻塞或返回 408”(于是我们开始采样而不是全读),向量搜索可能“卡在后台索引工作后面”。
每一个修复单独看都合理。每一个修复也都是对同一件事的变通,而每一个都增加了一点混乱,因为我们是在把元属性图存进属性图里,并在每次读取时为这层转换付出代价。
在 RushDB 2.x 中,每个项目都存在于一个图里。它们之间的隔离是每个节点上的一个隐藏属性,RUSHDB__KEY__PROJECT__ID,而每条查询都必须对它做匹配。每个节点上都有一个隐藏属性。唉。我们为此有一个辅助函数:
Copy // 2.x: isolation was a predicate every query had to remember export const projectIdInline = () => 'RUSHDB__KEY__PROJECT__ID: $projectId'
几十个手写和生成的 Cypher 片段都调用了它。代码对风险是诚实的;有一条注释说:“这里的 projectId 作用域就是租户隔离边界……一个未限定作用域的匹配会让任何 token 触达另一个项目的属性。”那不是边界。那是约定,而约定恰恰只在每条代码路径都记得它的时候才成立。
物理隔离是可能的,但只有一种方式:一个单独的 Neo4j 实例。2.x 允许项目自带 Neo4j,有自己的驱动池,对于需要把数据放在独立硬件上的客户,这是一个不错的答案。对于一个有许多小项目的平台来说则不然,因为每个隔离的租户都是又多一台要运行、监控、备份和付费的数据库服务器。
Neo4j 企业版为这类部署提供了更多能力,但企业版许可证从来不是我们考虑的东西。RushDB 是让人们自托管的东西,它的核心不能依赖用户必须单独购买的许可证。所以我们留在社区版(GPLv3)上,一个实例,一个属性过滤器。
在 RushDB 3 中,租户隔离的构建方式不同。租户不是记录上的一个属性,它是键的一部分。租户拥有的每一行都位于一个五字节前缀之下:一个命名空间字节加上租户的 32 位 id。扫描无法跨越该前缀,删除一个租户就是一次范围删除,而在多租户服务器上,一个没有租户作用域的请求根本不会执行。没有任何过滤器需要记住。
我们无法拥有的索引
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。