GenDB-V作者回应基准测试过拟合质疑:专用引擎与通用引擎是互补关系
来源标题:Next-Level Benchmarking Overfitting – Thomas Neumann
GenDB-V作者Jiale回应Thomas Neumann的质疑,承认其观察正确,但强调两者的设定不同。他表示GenDB-V针对单一客户负载构建专用引擎,与Umbra、DuckDB等通用引擎是合作关系而非竞争关系,且每个合成包都经过形式化验证,检查失败时不会静默返回错误答案。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
感谢 Thomas 如此仔细地阅读我们的论文和代码。我是 Jiale,GenDB-V 的作者之一。你的观察是正确的,我想就这个设定补充一下我的看法。
两种设定。Umbra 和 DuckDB 是通用引擎:对任意数据上的任意查询都很快。GenDB-V 则像 Bespoke OLAP 和 JetStream 一样,为单个客户构建专用引擎:针对他们的 schema、数据、热点查询模板,甚至硬件。在这里,利用工作负载的知识正是目的所在。对于 ad-hoc 查询,这样的系统应当交给最好的通用引擎,比如 Umbra 和 DuckDB。所以我认为这两种方法是伙伴关系,而非竞争关系。我并不声称 agent 能构建一个在许多工作负载上都很快的引擎:只是针对非常特定的设定,为客户专门定制。
验证才是重点。GenDB-V 的关键特性在于,我们不依赖 agent 来保证正确性,而是可以独立地对其进行形式化验证。每一个合成出的包都针对该 schema 的每个数据库被形式化证明为正确。因此每个假设都必须在代码中被检查,而检查失败绝不会静默地给出错误答案:代码会走通用路径。目前这条路径是 GenDB-V 自己那套缓慢但经过证明的代码,但可以很容易地扩展为 Umbra 或 DuckDB。
公平与不公平的专门化。我同意,猜测 dbgen 把每个键放在哪里,是在拟合生成器,而不是拟合客户。由存储创造出来的属性,或者由客户声明并由系统检查的属性,是公平的。生成器的偶然性则不是。我会把 agent 限制在前一种。
agent 也能发现好的想法。一个例子是 TPC-H Q21 配合 agent 设计的存储。这种存储把每个订单的 lineitem 相邻存放,对任意输入顺序都成立。于是 EXISTS 和 NOT EXISTS 条件就在每个订单自己的 lineitem 内部检查,取代了在 lineitem 上的半连接和反连接。查询结果的任何部分都不在加载时计算。这是一个经典的物理设计思路,任何引擎都可以使用。
我完全同意数据库社区需要新型的基准测试,我在早期工作 SQLBarber(SIGMOD 2026)中朝这个方向做过一次尝试。我很期待未来看到更多出色的基准测试。基准测试推动了当今优秀引擎的发展,在 LLM 时代它们也能起到同样的作用 🙂
此致, Jiale
你瞧,我这里有两个问题:第一,你 literally 让我们“停止手工打造(我们的)引擎”。这意味着你把你的方法营销为一个通用解决方案,作为现有数据库引擎的替代品,而它显然不是。它可能是一种额外的增强,比如过去物理设计向导所做的那样。但你永远需要一个回退引擎,至少对于 ad-hoc 查询是如此。
第二,我很确定我可以构建一个程序,在加载时对输入计算安全哈希,以识别它是规范的 TPC-H 数据,例如通过硬编码所有相关的 scale factor,然后纯粹根据关于数据生成器的知识产出所有查询的答案,而完全不看数据。对所有相关的 scale factor,它的运行时间几乎为零。而且它仍然会是“正确”的,因为我可以回退到比如嵌入式的 DuckDB/Postgres/sqlite,其性能将完全无关紧要,因为它在实践中永远不会被触发。
当然,这显然是荒谬的。但界线在哪里?为什么识别数据集 + scale factor 是“坏”的,而你做的其他优化却不是?TPC-H 试图对此进行规范,在人们遵守规则的前提下(而很多人并不遵守)这在不同程度上有用。我认为我们只有做到 a)基准测试在执行前对引擎开发者是未知的,以及 b)数据随时间变化,才能对抗这一点,这就排除了最极端的预计算。
如果形式化验证是主要贡献,为什么头条结果却由 20–60 倍的加速所主导?验证确立了正确性,但它对那些性能比较的有效性告诉了我们什么?
很高兴在这里与你讨论。作为一名博士生,我钦佩你的工作,Umbra 是我最喜欢的系统和论文之一。很抱歉这个标题:它把一个可能的未来描述得好像已是当下的事实。我会和共同作者讨论修改它。
GenDB-V 有两种模式。模板合成针对热点模板构建专用代码。该模式是对通用引擎的补充,就像物理设计向导那样。引擎合成构建一个通用引擎,对受支持 SQL 子集中的任意 schema、数据和查询都被证明为正确。在覆盖范围和正确性上,它是该子集的一个完整查询引擎。在性能上它还没到那一步:agent 经过许多版本改进了它,先是在 TPC-H 上,然后是在第二个基准测试上,但在人工创建的未见查询上它仍然比 Umbra 慢。我会把它的代码和结果放进我们的仓库。
我的下一步是一个对抗循环。agent 在我拥有的所有基准测试上优化引擎。然后引擎被冻结,一个单独的对抗 agent 针对它编写新的工作负载:在已知基准测试上的新查询,以及全新的基准测试。我报告冻结后的引擎的结果。之后,agent 可以针对它落败的查询进行优化,下一轮带来新的攻击。悬而未决的问题是,未见工作负载上的差距是否会随着轮次缩小,也就是说,agent 能否构建一个真正泛化的引擎。这符合你提出的每轮使用全新工作负载的精神。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。