返回资讯中心
外部精选
软件工程
#开发者实时流

Burrmill:基于 Parquet 的 SQL 引擎,采用精确整数运算取代 DuckDB

来源标题:Show HN: Burrmill – SQL over Parquet with exact integer arithmetic

Burrmill 是用 Rust 编写的 SQL 引擎,可直接在 Parquet 分段和实时数据上查询,沿用 DuckDB 方言,但整数运算超出范围时会拒绝而非回绕。nuthatch 4.1.0 已将其作为唯一引擎,DuckDB 被彻底移除,六个生产环境全部迁移完成;真实生产视图的输出与 DuckDB 逐字节一致,耗时为其 0.65 倍。

Hacker News 最新cargopete2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Burrmill:在 Parquet 上做 SQL,带精确整数运算

在封存的 Parquet 分段加一个实时 tip 之上执行 SQL,采用 DuckDB 方言,整数运算精确,溢出时拒绝而不是回绕。这是 nuthatch 自 4.1.0 起内置的分析引擎,取代了原先的 DuckDB:在它已经替换掉 DuckDB 的那些 nest 上,对每一个编写过的视图都与 DuckDB 逐字节一致;在热视图基准上比 DuckDB 快;在生产中按每条语句计比 DuckDB 慢;整个引擎是一个 Rust 二进制,不含任何 C++。

状态,2026-10-02:迁移完成。nuthatch 4.1.0 以 Burrmill 作为唯一引擎发布,DuckDB 已从其源码树和 lockfile 中移除,全部六个生产 nest 都运行在 Burrmill 上。RFC-0044 修正案 2 的第 1 道关卡于 2026-09-26 被判定通过:一个真实生产 nest 的每一个编写过的视图都逐字节一致,整体耗时是 DuckDB 的 0.65 倍,内存关卡按 nuthatch 实际运行的方式来测,接受了更大的构建体积,作为把 DuckDB 的 C++ 从 nuthatch 中移除的代价。第二阶段——引擎 trait、影子模式和切换——于 2026-09-26 至 2026-10-02 在 nuthatch 中运行;其任务清单见 docs/research/replacing-duckdb/migration.md。随后一周的生产运行所显示的情况,见「它在哪里落后」一节。

这里每个数字背后的测量都在 docs/progress-log.md 中,最新的在前,记录稿在 docs/bench/ 下。nuthatch 在其 Cargo.toml 中固定了本仓库的一个修订版本,因此这里的改动只有在该固定版本移动时才会到达某个 nest。

此后至 2026-11-11:通过 join 的范围条件下推实现按天裁剪(#68)、对 DOUBLE 的精确 SUM 和 AVG(#77)、批大小改为 2,048 行而非 128(#112)、对计算值设置上限(#122)、引擎跑在浏览器标签页里(#106)、不可信 CSV 摄入与演示页面(#128),以及带供应链检查的 CI(#35、#206)。RFC-0046「封存历史之上的部分状态」目前只是设计,尚未构建。进度日志中每一项都附有数字。

在浏览器标签页里,无需安装任何东西:burrmill-demo.vercel.app。拖入一个 CSV、JSON 或 Parquet 文件,即可把它当作表 t 查询。文件在标签页内读取和查询:在这里输入语句并按 Run 不会向任何地方发送数据。让模型来写 SQL 是可选的,需要你自己的 key 或本地模型,且只发送 docs/browser.md 中列出的内容。该页面就是本仓库中的 demo/。

在链上数据之上:nuthatch sql 的应答者就是 Burrmill,因此 nuthatch quickstart 就是在封存分段上运行它的方式。没有独立的命令行工具;作为库使用时它是 burrmill::Engine。

五个 crate。burrmill 是引擎,也是 nuthatch 嵌入的部分;burrmill-ingest 在计数的预算约束下把不可信 CSV 转换为 Arrow,不依赖引擎;burrmill-wasm 把摄入和引擎放进浏览器标签页,供 demo/ 页面使用;burrmill-size 为 wasm 体积探测而链接它们;burrmill-bench 存放 oracle 和测试框架。fuzz/ 对摄入的 CSV 读取器做模糊测试。

引擎(burrmill::Engine,feature datafusion)以 DataFusion 55 作为宿主规划器和执行器,由 Burrmill 负责 DataFusion 对索引器而言处理错误的部分:

算子(burrmill::Burrmill,默认构建)是 RFC 最初提出的向量化分区折叠:arrow 负责格式和内核,parquet-rs 负责解码,带检查的 i128 算术,每查询八线程,一个 FIFO 准入闸门。对它能接纳的查询形态它独自运行,其余一切则在引擎的规划中运行。

解析器角色(burrmill::inspect::reach,默认构建)是在 sqlparser 的 AST 上实施 nuthatch 的允许列表和可达性规则,失败即关闭。

参考。docs/sql.md 列出 Engine 接纳的 DuckDB 形式以及按名称拒绝的形式,并说明应改写成什么;docs/browser.md 描述该标签页。llms.txt 把编码 agent 指向这两者。Engine::open_segments 和 open_nest 读取 <table>-<hash>.parquet:最后一个连字符之前的文本是表名,没有连字符的 .parquet 文件会被跳过。

更快。2026-09-24 和 25 在一台 32 核 ThinkPad 上测量,对象是 graph-allocations nest 的一个 1,925 分段副本,该 nest 是 Lodestar 在生产中读取的,DuckDB 完全按 nuthatch 的设置方式设置,每个视图的完整输出在打印任何计时之前都作为 nuthatch 编码行的多重集进行比较(burrmill-bench engine-views,docs/bench/phase1b-thinkpad.txt,docs/bench/rangejoin-thinkpad.txt):

2026-09-27 带着此后所有改动重跑:22 个中 22 个一致,0.63 倍,22 个中 22 个在 1.5 倍以内(docs/bench/engine-views-thinkpad-2026-09-27.txt)。并不一直如此:2026-09-24 同一测试框架测得 1.54 倍,原生 DataFusion 在同一 nest 上为 1.81 倍,正是上述自有查询计划形态弥合了这一差距。更早的 0.71 倍是在一个 38,428 分段的副本上测得的,那里 DuckDB 要按文件付出代价;压缩后的布局是更公平的测试,也是此处引用的那个。

把 2026-09-24 时可移植的 12 个视图服务于 1、4、16 和 32 个并发客户端(burrmill-bench serve-views,docs/bench/serve-views-thinkpad.txt):单客户端时 14.7 对 7.2 qps,32 客户端时 32.9 对 15.1,最差 p99 为 1,350 ms 对 7,424,公平性 0.90 对 0.00,进程内存 3.9 GB 对 15.4,均为 32 客户端且 ulimit -n 已提高,因为 DuckDB 在默认值下直接失败。未在 22 个视图上重跑。

在生产中符号相反。那些是完整视图、热的、在基准测试框架上。通过 nuthatch 的 /sql 在 allocations nest 的真实仪表盘语句上(sql_sweep_over_a_nest 在副本上,2026-10-01),Burrmill 以两个 2 GB 会话和八线程在 1、4、8 客户端时分别服务 11、26 和 28 qps,而 DuckDB 以四个 256 MB 会话服务 29、112 和 123:每条语句约为 DuckDB 耗时的 2.5 倍,p99 约 620 ms 对 128 至 184。在 QoS nest 上,Lodestar 的八条单日语句耗时 3.2 至 4.1 秒,而 DuckDB 为 0.6 至 0.7 秒,因为通过 join 到达的日期范围没有被下推到扫描,Burrmill 读取了每个分段,而 DuckDB 只读当天的。RangeBounds(#68,2026-10-04)现在用 join 构建侧的极值来约束探测扫描,在 QoS 副本上,kittiwake 的单日语句从 7 至 11 秒降至 1.1 至 1.6 秒,5.32K 中的 47

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →