
Stoolap 0.5.0 发布:统一查询路径,修复结果不一致
来源标题:Stoolap 0.5.0: One Query, One Answer
Stoolap 0.5.0 发布,这是迄今最大的版本,自 0.4.2 起合并了 670 个 PR、关闭 182 个 issue,测试数从 6032 增至 8580。该版本核心主题是保证同一查询无论走引擎内哪条路径都返回相同结果,修复了 0.4.2 中建索引后 k IN (1, 1.0) 会重复返回行等不一致问题。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Stoolap 0.5.0 发布了。这是迄今为止规模最大的一次版本发布:自 0.4.2 以来合并了 670 个 PR,关闭了 182 个 issue,测试套件从 6,032 个测试增长到 8,580 个。发布说明里列出了具体的变更。本文想讲的是为什么大部分内容都变了,因为这次发布的主题并不是某个新功能。
主题是:无论引擎内部由哪条路径计算,同一个查询都应该给出同一个答案。在 0.4.2 中,这一点并不总是成立,我先来展示一下。
本节中的每一个输出,都是今天分别用 v0.4.2 标签和 v0.5.0 运行同一个程序得到的。
CREATE TABLE t (id INTEGER PRIMARY KEY, k INTEGER); INSERT INTO t VALUES (1, 1), (2, 2); SELECT id FROM t WHERE k IN (1, 1.0); -- 0.4.2: 1 CREATE INDEX ik ON t(k); SELECT id FROM t WHERE k IN (1, 1.0); -- 0.4.2: 1, 1
没有索引时,扫描会对每一行针对列表测试一次。有了索引后,列表的求值变成对每个成员各探测一次索引,而没有任何逻辑去掉被两个成员同时找到的同一行。甚至 k IN (1, 1) 也会返回该行两次。0.5.0 在两种情况下都只返回一行。
CREATE TABLE f (id INTEGER PRIMARY KEY, x FLOAT); INSERT INTO f VALUES (1, 1.0), (2, CAST('NaN' AS FLOAT)), (3, 4.0); SELECT MAX(x) FROM f; -- 0.4.2: NaN PRAGMA CHECKPOINT; SELECT MAX(x) FROM f; -- 0.4.2: 4.0
Stoolap 将较新的行保存在面向行的热存储中,并将较旧的行封存为压缩的列式卷。checkpoint 会把行从前者搬到后者。行本身没有变化,但计算 MAX 的代码变了,两条路径对 NaN 的排序位置意见不一致。0.5.0 两次都返回 NaN。
我向一个文件数据库写入 100,000 行,执行 checkpoint,关闭它,翻转卷文件中的一个字节,然后重新打开。
before: SELECT COUNT(), SUM(v) FROM big -> 100000, 5000050000 after reopen: SELECT COUNT(), SUM(v) FROM big -> 0, NULL stderr: Warning: Failed to read volume ...: V4: CRC mismatch. Skipping file.
校验和发现了损坏。然后引擎跳过了该文件,向 stderr 打印了一条警告,并用剩下的数据来回答——而剩下的数据什么也没有。没有任何错误到达应用程序。
CREATE TABLE a (id INTEGER PRIMARY KEY, v INTEGER); INSERT INTO a VALUES (1, 1), (2, 9223372036854775807); DELETE FROM a WHERE v + 1 > 0; -- 0.4.2: ok, 1 row deleted SELECT id FROM a; -- 0.4.2: 2
对于第 2 行,v + 1 会溢出。0.4.2 将该错误当作 false 读取,删除了第 1 行,并报告成功。0.5.0 会让该语句失败,报 Integer overflow in arithmetic operation,并且不删除任何行。
这些都不是什么罕见情况。它们只是一个引擎快速路径的增长速度超过了规则增长速度的普通结果。
一个数据库引擎只有少量语义规则:两个值如何比较、如何排序、何时两个值是同一个分组键、算术如何溢出、一个值如何转换为另一种类型。它同时又有大量应用这些规则的路径:表达式 VM、下推到存储的过滤器、索引探测、hash join、semi-join、对封存卷的列式聚合、top-k、keyset 分页。
每一条快速路径都是由某个需要再多一次比较的人写的,他为眼前涉及的类型写了一个小实现。每一份拷贝对于作者测试过的场景都是正确的。合在一起,它们就互相矛盾了。
当我们去排查时,发现这种模式无处不在:
你无法一次一个 bug 地修复这一类问题。你修好了一条路径,而做同样工作的兄弟路径仍然给出不同的结果。
我们采用的规则很短:一条语义规则只存在于一个函数中,快速路径调用该函数。它绝不携带自己的拷贝,哪怕是为它处理的类型写的更简单的拷贝也不行。
统一规则只是工作的一半。另一半是保持统一。每一条优化路径在代码中都有一个名字(KeyReadPath、OrderLimitPath、DistinctPath、JoinPath 等等),每个名字都有一个等价性测试,运行其用例并将每个答案(包括值、类型和列名)与一个记录下来的答案进行比较。只有当另一条路径在同一查询上运行并给出相同行时,答案才会被记录下来。如果某个已注册的路径没有用例,测试就会失败,因此新的快速路径无法在没有用例的情况下发布。目前有 47 个答案文件。
有一个细节比看起来更重要:测试的预期答案是写下来的,而不是在测试时通过运行引擎的另一条路径计算出来的。一个比较同一引擎两条路径的测试,在两者以相同方式出错时也会通过。
上面的 DELETE 展示了问题的另一半。即使规则一致,引擎也可能通过把错误变成值来隐藏它:溢出被读作 NULL,不支持位置上的子查询被读作 FALSE,未知的限定符被悄悄解析成别的列。
0.5.0 移除了这些猜测。运行时错误无论出现在哪里都会使语句失败,包括 SELECT 列表、WHERE、ORDER BY、join、窗口参数、UPDATE SET、DEFAULT 和 CHECK。限定符必须指向一个 FROM 条目:SELECT zz.x FROM u 过去会返回 u.x,DELETE FROM u WHERE zz.id = 3 过去会删除一行。完整语句之后的 token 现在是解析错误:UPDATE t SET v = 1 WHERE id = 1 2 过去会写入该行然后返回 2。在期望一列的地方返回两列的子查询现在是错误,而不是静默读取第一列。
代价是可见的:迁移指南很长,因为一些在 0.4.2 上能运行的查询现在会失败。我认为这是正确的取舍。一个失败的查询会告诉你今天出了问题。一个给出错误答案的查询什么也不会告诉你,你只能在以后从数据中发现。
上面翻转的字节被校验和发现了,但表仍然丢失了。检测到损坏还不够;引擎接下来做什么才是关键。
0.5.0 用一种新格式写入卷,V5。每个列块和每个元数据区都有自己的 CRC-32C,每次读取时都会校验。manifest 记录每个卷文件的身份(长度、一个随机 nonce 以及区表的校验和),因此从另一张表或另一个数据库复制来的文件会在打开时被拒绝。
SELECT COUNT(*), SUM(v) FROM big -> 100000, 5000050000
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。