返回资讯中心
外部精选
软件工程
#开发者实时流

mibz2:面向内存级并行的 bzip2 解码器发布

来源标题:Mibz2: A bzip2 decoder built for memory-level parallelism

开源项目 mibz2 推出一个以内存级并行(MLP)为核心的 bzip2 解码器,思路与 lbzip2 一样按块并行,但在块内把逆 BWT 拆成 32 条交错的链同时推进,让多次缓存缺失的加载重叠等待。该项目因解码 Wikidata 转储而诞生,已提供 Python 调用接口,并可返回校验状态。作者称单条链速度并未提升,收益来自等待时间重叠。

Hacker News 最新mariuz2026/11/22 · 今天3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为内存级并行而构建的 bzip2 解码器。

mibz2 用于解码 bzip2。与 lbzip2 一样,它也是块并行的。在一个块内部,其逆 BWT 以 32 条交错链的方式遍历,因此一个核心可以让遍历中大量缓存缺失的加载同时处于进行中,而不是一次只有一个。

想象一位快递员,只有在到达上一个地址之后才知道下一个地址:摩托车很快,但大部分时间都花在等待得知下一步该去哪里上。这就是普通的逆 BWT。mibz2 通过一个调度中心运行 32 条这样的配送链,因此当一条链在等待它的下一个地址时,其他链继续推进。它们中没有任何一条走得更快;等待彼此重叠。为什么 32 个快递员胜过 1 个,这解释了其思路、它在何处不再划算,以及已经测量了什么。

import bz2 with open("file.bz2", "wb") as f: f.write(bz2.compress(b"line one\nline two\n" * 1000)) -->

import mibz2 data = mibz2.decompress(open("file.bz2", "rb").read()) data[:18] b'line one\nline two\n' with mibz2.open("file.bz2") as f: ... lines = f.readlines() ... verified = f.raw.verified len(lines), verified (2000, True)

它的名字来自“bzip2 的多链逆变换”。它是在 wikidata-pq 中编写的,用于解码 Wikidata dump,并且对 Wikidata 一无所知(历史)。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →