返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用约5000行C11从零构建的分析引擎,性能对标ClickHouse、DuckDB和MonetDB

来源标题:Can 5k Lines of C11 Outrun ClickHouse, DuckDB, and MonetDB?

开发者用23天从零构建约5000行C11列式分析引擎simpledb,在1000万行数据上与ClickHouse、DuckDB、MonetDB进行基准测试。测试重点比较零抽象SIMD实现与10个并行CPU核心的性能表现。

Hacker News 最新donperignon2026/11/17 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

5,000 行 C11 代码能跑赢 ClickHouse、DuckDB 和 MonetDB 吗?

在 1000 万行的数据规模上,将我们自研的 C11 列式引擎与 ClickHouse、DuckDB 和 MonetDB 进行基准对比。零抽象 SIMD 如何匹敌 10 个并行 CPU 核心。

第 23 天分支:在 dmanchon/simpledb(day23)查看当天的完整代码(与 day22 的 diff)。

[!TIP] 长读工程日志——基准测试的叙事弧线

本文是我们用 C11 从零构建列式分析数据库引擎、为期 23 天旅程中的实证评估里程碑。它讲述了一个带有警示意味、技术性很深的两部分故事:

欢迎来到第 23 天!在过去的 22 天里,我们用现代 C11 从零设计并构建了 simpledb:

现在到了最终的实证检验:我们约 5,000 行的 C11 列式数据库引擎,与久经考验的工业级列式引擎相比,究竟有多快?

具体来说,我们把 simpledb 直接与 MonetDB(C 语言列式向量数据库的鼻祖)、ClickHouse(当今 OLAP 领域的霸主)和 DuckDB(现代向量化嵌入式标准)同台竞技。

在对比分析引擎时,大多数现代开发者会想到 DuckDB 或 ClickHouse(两者都用现代 C++ 编写)。然而,MonetDB 在数据库系统历史上占据着独特而受人尊崇的地位:

C 语言的列式血脉 │ ┌────────────────────────┴────────────────────────┐ ▼ ▼ MonetDB(1990 年代至今) simpledb(现代 C11) ┌──────────────────────────────────┐ ┌──────────────────────────────────┐ │ • BAT(二元关联表) │ │ • 连续类型化数组 │ │ • 头部 OID + 尾部值 │ │ • 64 字节缓存行对齐 │ │ • 批量算子一次处理(MAL) │ │ • 8,192 行颗粒 + 标记文件 │ │ • 完整的中间列 │ │ • 位打包选择向量 │ │ • POSIX C 与虚拟内存 │ │ • 零拷贝 mmap + SIMD Neon/AVX2 │ └──────────────────────────────────┘ └──────────────────────────────────┘

二元关联表(BAT)与 64 字节对齐向量块

MonetDB 的核心抽象(BAT): 在 MonetDB 中,每张表都会被垂直分解为称为 BAT 的二元表([head, tail])。

simpledb 的混合方案: simpledb 不会在查询步骤之间把完整的中间 BAT 列物化到 RAM 中,而是结合了以下手段:

为确保评估公平对等,基准测试必须将引擎执行速度与文件系统缓存异常隔离开来。

该套件评估五类基础数据库工作负载:

下面是定义标准化基准套件运行器、指标收集与对比框架的 C11 接口:

#pragma once #include <stdint.h> #include <stddef.h> #include <stdbool.h> #ifdef __cplusplus extern "C" { #endif typedef struct { const char *query_id; const char *description; const char *sql_query; size_t total_rows; size_t total_bytes_scanned; double latency_ms_p50; double latency_ms_p99; double throughput_gbps; double throughput_mrows_sec; size_t peak_rss_bytes; } benchmark_result_t; typedef struct { const char *db_path; size_t row_count; size_t warmup_iterations; size_t measure_iterations; bool drop_os_cache; } benchmark_config_t; // Benchmark lifecycle benchmark_config_t benchmark_config_default(const char *db_path, size_t row_count); void benchmark_generate_dataset(const benchmark_config_t *config); benchmark_result_t benchmark_run_query(const benchmark_config_t *config, const char *query_id, const char *sql); void benchmark_print_summary(const benchmark_result_t *results, size_t count); #ifdef __cplusplus #endif

  1. 对基准测试框架做单元测试(tests/test_benchmark.c)

#include "simpledb/benchmark.h" #include <assert.h> #include <stdio.h> int main(void) { printf("[Test] Running Benchmark Harness Unit Test...\n"); uint64_t t0 = benchmark_now_ns(); assert(t0 > 0); // Verify DCE prevention macro compiles cleanly volatile int dummy = 42; PREVENT_DCE(dummy); uint64_t t1 = benchmark_now_ns(); assert(t1 >= t0); benchmark_report("Harness Smoke Test", 1048576, t1 - t0 + 1000); printf("[Test] Benchmark Harness Test PASSED.\n"); return 0;

  1. 第一幕——惊人的胜利:在 Q1 上比 ClickHouse 更快

我们在 Apple Silicon 硬件上,对全部四个数据库引擎(simpledb、ClickHouse、DuckDB 和 MonetDB)执行了查询 1(SELECT SUM(amount) FROM events;),数据为 10,000,000 行 32 位整数(40.0 MB)。

关键在于,simpledb 并不是调用孤立的 C 原语,而是通过完整的 SQL REPL 引擎端到端执行查询——将查询字符串传入 sql_parser_create(),用 sql_parser_parse() 生成 AST,用 repl_exec_select() 编译物理算子计划(绑定 OP_SCAN 和 OP_SCALAR_AGG),并通过 exec_pipeline_run() 流式处理数据块:

注意,完整的 REPL SQL 流水线耗时 3.64 ms——与裸表扫描器几乎完全相同!

由于 simpledb 避免了重量级的中间计划结构、基于代价的优化器树遍历以及动态目录锁竞争,整个 SQL 编译与绑定阶段耗时不到 15 微秒,使其余 99.6% 的执行时间都能以纯硬件内存带宽运行!

为保证 100% 的实证可复现性,以下是用于 DuckDB、ClickHouse 和 MonetDB 的确切安装脚本、CLI 参数和计时配置:

DuckDB 通过其 CLI 二进制独立测试。我们使用其生成函数 range() 填充了 10,000,000 行,并使用 .timer on 测量执行时间(它通过纳秒级单调时钟测量真实耗时):

-- 1. Populate 10,000,000 rows (40.0 MB INT32) CREATE TABLE events AS SELECT (i % 1000 + 1)::INTEGER AS amount FROM range(10000000) t(i); -- 2. Measure Execution Time .timer on -- Multi-threaded (default: 10 hardware threads on M-series) -> 3.60 ms SELECT SUM(amount) FROM events; -- Single-threaded execution control -> 20.00 ms PRAGMA threads=1; SELECT SUM(amount) FROM events;

  1. ClickHouse Local(v26.10.2)

ClickHouse 通过 clickhouse local 进行测试——这是 ClickHouse 的嵌入式零服务器执行工具。我们创建了一个不可变的 MergeTree 表,并用 numbers(10000000) 填充它:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →