
mibz2:面向内存级并行的 bzip2 解码器发布
来源标题:Mibz2: A bzip2 decoder built for memory-level parallelism
开源项目 mibz2 推出一个以内存级并行(MLP)为核心的 bzip2 解码器,思路与 lbzip2 一样按块并行,但在块内把逆 BWT 拆成 32 条交错的链同时推进,让多次缓存缺失的加载重叠等待。该项目因解码 Wikidata 转储而诞生,已提供 Python 调用接口,并可返回校验状态。作者称单条链速度并未提升,收益来自等待时间重叠。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为内存级并行而构建的 bzip2 解码器。
mibz2 用于解码 bzip2。与 lbzip2 一样,它也是块并行的。在一个块内部,其逆 BWT 以 32 条交错链的方式遍历,因此一个核心可以让遍历中大量缓存缺失的加载同时处于进行中,而不是一次只有一个。
想象一位快递员,只有在到达上一个地址之后才知道下一个地址:摩托车很快,但大部分时间都花在等待得知下一步该去哪里上。这就是普通的逆 BWT。mibz2 通过一个调度中心运行 32 条这样的配送链,因此当一条链在等待它的下一个地址时,其他链继续推进。它们中没有任何一条走得更快;等待彼此重叠。为什么 32 个快递员胜过 1 个,这解释了其思路、它在何处不再划算,以及已经测量了什么。
import bz2 with open("file.bz2", "wb") as f: f.write(bz2.compress(b"line one\nline two\n" * 1000)) -->
import mibz2 data = mibz2.decompress(open("file.bz2", "rb").read()) data[:18] b'line one\nline two\n' with mibz2.open("file.bz2") as f: ... lines = f.readlines() ... verified = f.raw.verified len(lines), verified (2000, True)
它的名字来自“bzip2 的多链逆变换”。它是在 wikidata-pq 中编写的,用于解码 Wikidata dump,并且对 Wikidata 一无所知(历史)。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。