数据库基准测试被AI智能体过度拟合,GenDB-V宣称性能提升22至61倍引质疑
来源标题:Next-Level Benchmarking Overfitting – Thomas Neumann
数据库专家指出,AI智能体正通过可疑手段过度拟合基准测试,使执行时间趋近于零,TPC-D曾因此失效。GenDB-V论文宣称在完全形式化验证下比Umbra和DuckDB快22至61倍,但该文认为对传统查询处理而言这一提升不可行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
在我最近的那篇博客文章中,我提到数据库基准测试正陷入危机,因为 AI agent 开始用一些可疑的技术在单个基准上过拟合,把执行时间一路压向零。TPC-D 过去就发生过这种情况,最终毁掉了那个基准。TPC-H 试图用规则来对抗这个问题,但大多数发布(非官方)TPC-H 结果的人干脆无视规则。再加上过于急切的 AI agent,就导致了残酷的过拟合。
我们在 GenDB-V 系统上看到了这一问题的升级版。对应的论文题为“Stop Handcrafting Your Engine! GenDB-V: Towards AI-Generated and Formally Verified Database Systems”,报告称相比 Umbra 和 DuckDB 实现了 22 倍到 61 倍的加速,而且这一切都发生在一个经过完全形式化验证的系统里。这些说法确实令人印象深刻,似乎暗示传统数据库引擎遇到了麻烦。
不过,退一步想,应该很清楚:相比 Umbra 提升 22 倍性能是不可行的,至少如果我们谈论的是传统查询处理的话。在 SF10 规模下,22 条 TPC-H 查询读取大约 15GB 的(压缩)基础数据,而在 9950X3D 上,Umbra 运行所有查询总共只需大约 540ms。在那台机器上,仅数据 touched 的内存除以内存带宽(54GB/s)就约为 280ms;低于这个数字就是不可行的。更好的压缩也许能再降低一点,但不会降低一个数量级。
不出所料,GenDB-V 最惊人的提升来自预计算。这些 agent 为每条查询精心手工构建了辅助数据结构,在加载时计算好,从而避开了大部分工作。物理设计也针对查询做了大量调优,例如,有一个额外的结构按 s_acctbal DESC 顺序列出 supplier 行,这让 Q2 变得轻而易举。大多数查询都构建了类似的逐查询数据结构。我们在性能数据中也看到了这一点:在 SF100 下,有几条查询已经以接近常数时间运行:单线程下 Q2 为 0.7ms,Q17 约 15ms,Q4 约 17ms。这就是 TPC-D 的症状,只不过没有存储聚合。
还有一种“plain-array”模式,乍看之下更公平,因为它避免了这些过度的准备工作,而且报告的性能提升也只有大约 3 倍,这看起来是可以实现的。但仔细一看,我们会发现这里 agent 做了更疯狂的事情:它们硬编码了关于数据生成器的知识。它们“知道”每个 customer k 会位于第 k-1 行。它们也知道 dbgen 将第 i 个 order 编号为 32·(i/8) + i%8,所以键 k 应该位于第 8·(k/32) + k%32 − 1 行。这使得查询 Q18 中的 join 极其廉价。
这一切又如何与“完全验证的数据库引擎”这一说法自洽呢?嗯,代码确实会检查关于数据生成器的硬编码知识在实践中是否成立,例如检查猜测的 join 伙伴行是否正确。如果不正确,就回退到超慢的通用嵌套循环实现,但由于在官方 TPC-H 数据生成器下这永远不会发生,那条代码路径在报告的实验中无关紧要。
这让我回到我最初博客文章中的论断:让 AI agent 针对给定的数据库基准进行优化,会使该基准变得毫无用处。它们会竭尽全力找到疯狂的花招来加速这个特定的基准,但这些在真实系统中都行不通。且不说高额的调优和合成时间,删除一个元组(或在中间插入一个元组)很可能就会让整个方法跌下悬崖,因为它会强制走慢速回退路径。这不是你在生产系统中想要的东西。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。