
开发者用Brainfuck重写Kafka,号称比原版快两万倍
来源标题:Apache Kafka, rewritten in Brainfuck. fast. Memory safe. Diskless
一个名为Kafuck的项目用1022条Brainfuck指令重写了Kafka,宣称端到端延迟比Kafka低20,625倍。该项目无JVM、无线程、无网络、无磁盘,仅靠一条内存带和八条指令实现带偏移量的追加式提交日志及produce、consume API。由于没有任何监听器,外部无法连接,项目自称具备精确一次语义和无限保留。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
快得惊人。内存安全。零依赖。* 生产可用。**
我们热爱 Kafka。但它诞生于十多年前,为另一个时代而设计。它跑在 JVM 上。它的架构早于云时代。
于是我们问自己:如果今天从第一性原理出发重新构建,Kafka 会是什么样子?
Kafuck 就是答案。没有 JVM。没有垃圾回收器。没有线程,没有网络,没有磁盘。只有一条内存纸带和八条指令,采用现代「每线程零线程」架构。
它是一个真实可运行、仅追加的提交日志,带偏移量、一个 produce API 和一个 consume API,用 1,022 条纯 Brainfuck 指令写成。它比 Kafka 快 20,625 倍。我们有基准测试为证。
⚡ 快得惊人。端到端延迟比 Kafka 低 20,625 倍。¹ 🦀 内存安全。整个程序只有一个指针,而且我们对它非常小心。 📦 零依赖。除了一个 Brainfuck 解释器——它用 Python 写,而 Python 用 C 写。 🎯 精确一次语义。每次 consume 都会把每条消息恰好打印一次。 🪶 轻量。没有 ZooKeeper。没有 KRaft。 🎧 没有 advertised.listeners。根本没有 listener。没人能连上它,所以也没人能连错它。 ♾️ 无限保留。只要你不关终端,数据就一直保留。 🔌 兼容 Kafka。²
¹ 见基准测试。Kafka 已按公平原则配置。 ² 兼容「日志」这个概念。
其他无盘 Kafka 会写入 S3,而 S3 是由磁盘组成的。Kafuck 把所有东西都放在内存里,放在 Brainfuck 纸带上。进程退出,数据随之而去。这才是唯一真正无盘的架构。
对于有不同持久性要求的团队,Kafuck 通过 shell 支持可插拔存储:
鸟类存储采用十六进制编码,这是 RFC 1149 的要求。
Kafuck 的端到端延迟比 Apache Kafka 低 20,625 倍 🚀
python3 bench/bench.py
端到端延迟,单条消息(越低越好)
Kafuck ▏ 0.27 ms Kafka ██████████████████████████████████████████████████ 5,500.00 ms
你的数字可能不同。我们的没有,因为我们只发布了最好的那个。
我们信奉严谨、透明的基准测试。
linger.ms 让 Kafka producer 等待更多消息,以便批量发送。fetch.min.bytes 让 broker 在攒够一兆字节可返回的数据之前一直压住 fetch,或者等到 fetch.max.wait.ms(默认 500 ms)超时。只有一条消息时,Kafka 会花 5.5 秒礼貌地等待同伴。Kafuck 什么都不等,因为它根本不会等。
在笔记本电脑上测得。Kafka 仍然没有被测。
随着日志增长,吞吐量会下降。这就是背压,而且是内置的。
git clone https://github.com/rmoff/kafuck.git cd kafuck ./kafuck Phello 0 Pworld 1 C0 0: hello 1: world
或者用管道灌进去,享受全自动、零接触、云原生体验:
printf 'Phello\nPworld\nC1\n' | ./kafuck
📡 协议
Kafuck 通过 stdin 使用一种定制的线协议。
Xylophone Party 会生产消息 arty。这个有测试覆盖,所以它是特性。
消息必须以换行符结尾。没有换行符的消息会让 broker 永远等待它的剩余部分。CLI 会替你加上换行符,因为我们在乎。
Kafka 在每个偏移量上花 8 个字节。Kafuck 只用一个:偏移量就是一个 ASCII 字符,从 0 开始。
偏移量 9 之后是偏移量 :,然后是 ;、<、=、>、?、@ 和 A。偏移量 19 是 C。偏移量 32 是 P。要从偏移量 12 开始消费,发送 C<。
256 条消息之后,偏移量计数器回绕到 0,每个消费者都会看到一个空分区。我们把这叫做保留策略。
workspace home record 0 record 1 free slot [ 0 … 9 ] [ 0 ][ 0 ] [S][M][h][e][l][l][o][0] [S][M][h][i][0] [1] │ │ │ │ │ └─ 分隔符,始终为 0 │ └─ 标记,始终为 1 └─ 1 = 可见,2 = 隐藏
记录内的每个单元都非零,所以 [>] 和 [<] 会从一条记录跳到下一条。要从偏移量 k 开始消费,broker 先隐藏前 k 条记录,然后反复找到第一条可见记录,打印它并隐藏它,最后再把所有记录恢复可见。我们把这叫做惰性隐藏消费者协议。专利申请中。
src/broker.bf 由 tools/forge.py 生成。我们把它描述为手工打造,因为过程中确实有手参与过。
Kafuck 拥有一个蓬勃发展的社区,共 47 位贡献者:
加入我们的 Discord(1 名成员)。我们的社区会议每周举行,每周取消。
想参与,请阅读 CONTRIBUTING.md。简短版本是 ⭐。
见 ROADMAP.md。亮点包括 10,000 颗星、A 轮融资,以及为了性能用 Rust 重写 Kafuck。
正朝着周六前 100 万颗星迈进。请 ⭐ 帮助我们保持进度。
WTFPL,即 Do What The Fuck You Want To Public License。它只有一条条款。我们的法务团队已经读完了全部内容。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。