
Redpanda发布R2引擎,将统一驱动其全线数据产品
来源标题:Redpanda archived its GitHub repo
Redpanda推出新引擎R2,作为其所有数据产品未来统一的基础引擎。从26.3.1版本起,Redpanda Streaming、Redpanda SQL等产品将集成R2,Streaming/Operator不再开源,但保留最多50核免费的社区版。R2的设计基于Redpanda七年来在航天、低延迟支付等生产环境的运行经验,并面向AI编程时代。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
R2:引擎中的引擎
所有 Redpanda 数据产品都将运行其上的基础
今天我们推出 R2:一个全新的“引擎中的引擎”,也是从今往后所有 Redpanda 数据产品都将运行其上的基础。
从即将发布的 26.3.1 开始,Redpanda Streaming、Redpanda SQL 以及后续产品都将把 R2 集成为核心引擎。因此,从 26.3.1 起,Redpanda Streaming/Operator 将不再开源可获取。我们将继续维护 Redpanda Community Edition,任何规模的公司均可免费使用,上限为 50 核。
R2 是驱动 Redpanda 原生产品的新引擎。每一个设计决策都可以追溯到过去七年我们大规模运行 Redpanda、服务全球最严苛工作负载时,生产环境教给我们的东西——从太空探索、低延迟支付,到嵌入式环境和高吞吐的写穿透对象存储。
R2 对我们来说也是一种新的编程模型,专为 agentic coding 时代而设计。如今代码生成变得廉价,但构建超可靠的产品依然艰难。我们的许多用户把业务押注在 Redpanda 上,因为我们常常是他们的最终记录系统。一次故障就意味着数据丢失,意味着他们利润受损。挑战在于:借助 AI 的进步加速创新,同时强化客户业务所依赖的正确性、安全性和可靠性。
最重要的是,在 Redpanda 各数据产品累计数百年的集体工程投入之后,它让我们落脚在同一个共享基础上。这正是我们构建公司所依托的基础。
R2 使用 C++23 协程从零构建。它为我们提供了对 I/O、GPU/加速器和文件的统一异步抽象。在功能上,Mac 和 Linux 上共用同一个本地开发事件循环,开发者体验大幅改善。所有产品现在共享同一套代码库。
每个核心在 1 个 OS 线程上运行 1 个 reactor,外加 N 个 alien 线程(N 默认为 1)。每个 reactor tick 运行四个阶段:将完成事件回收进 work-class 队列,以赤字加权轮询(DWRR,每 tick 最多 64 次恢复)运行它们,冲刷暂存的操作,然后停驻等待下一次完成。
完成事件源是可插拔的。在 Linux 上是 io_uring,在 macOS 上是 kqueue。测试时,R2 使用模拟源:虚拟时钟、带种子的 PRNG、虚拟化 I/O 和带种子的排序,因此 bug 可以从种子重放。
一些最重要的 bug 是在尚未在生产环境中经过加固的新代码中发现的,因为状态空间可以在 CI 上进行代码生成时被探索,而不是在线上生产系统中。这是我们第一次将形式化证明纳入每一次核心代码检查,其复利效应是:我们移植过来的所有代码基本都“直接可用”,在少数情况下甚至暴露了原始实现中潜伏的 bug。
协程挂起点是显式的,因此在模拟源下,每一种交错都是可枚举的,并且可以从种子重放。配合 TLA+ 规范和确定性时钟,一个需要数年生产流量才能触发的时序 bug,在几分钟的模拟时间内就会显现。
对新手程序员来说,thread-per-core 架构最具挑战性的部分之一是内存压力。一台看起来很大的机器,实际上像是一堆内存相对有限的小型计算机。
我们之前的 future 调度器在启动时将内存平均分配给各核心,并给每个 shard/逻辑核心分配自己的分配器,每次跨核心释放都要送回其所有者。快路径开销很低,但它让“小型计算机”问题变成了字面意义上的现实。当一个 shard 内存耗尽、又无法向空闲邻居借用时,工程师就被迫构建复杂的背压、内存回收、跨核心动态迁移工作负载等机制。
此后,mimalloc、TCMalloc 和其他通用分配器已经赶上,并且以少得多的协同设计,在广泛的工作负载中表现良好,包括慢速滴流请求、超低延迟,以及使用大 arena 的慢速对象存储写入。
R2 保留 thread-per-core 执行模型,但不再手工切分内存。我们仍然做从源到目的地的消息传递,以强制核心本地执行,并在整个代码库中保持单一的并发与并行模型。每个 R2 二进制都链接 mimalloc:每个线程从自己的堆分配,无锁;在另一个核心上释放的块会进入其所在页的空闲列表,待所有者下次回收时归还;释放的页在短暂的清除延迟后归还内核。我们也以 per-CPU 模式运行过 TCMalloc。它是一个很好的分配器,但在我们的工作负载上 mimalloc 胜出,所以我们移除了它。
用于 compaction 或阻塞式系统调用等事务的后台 alien 线程不绑定到某个核心,因此 Linux CFS 调度器可以移动它们。它们利用更简单的回收机制和大于逻辑核心的分配来简化跨 CPU 的工作负载迁移,并把这一逻辑交给 Linux CFS 调度器,从而降低病态工作负载(大部分工作转移到单个核心)的延迟,并提高系统吞吐量。
据我所知,R1 是第一个 Kafka-API 分布式日志,能在单一集群上动态承载不断变化的工作负载形态,没有分离的共识(没有 ZooKeeper,没有 KRaft),并且默认情况下每一次已确认写入都持久化到磁盘。安全性、延迟、吞吐量、一致性、可用性和网络成本都可以在 topic 级别调优。嵌套控制循环会根据工作负载把瓶颈推到下一块硬件。这是我参与过的团队交付过的最好的工程作品,我们客户的速度和规模每天都在检验它。
R1 将按原样保留在 GitHub 上。R2 从 26.3.1 开始继承上述全部能力,新的 Redpanda Community Edition 使用限制从该版本起适用。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。