返回资讯中心
外部精选
软件工程
#开发者实时流

peoxide:用 Rust 重写 pefile 的 Python PE 解析库,速度提升 121 倍

来源标题:Someone rewrote pefile in Rust and its 121x faster

开发者发布 peoxide,一个用 Rust(基于 goblin)实现的 Python PE 文件解析库,据称比纯 Python 的 pefile 快 121 倍。它保持与 pefile 相同的属性名,每个文件只调用一次 Rust 而非逐字段调用。当前 0.0.1 版仅提供 CPython 3.14 64 位 Windows 的 wheel,其他平台需从源码构建并依赖 Rust 工具链。

Hacker News 最新hellowastaken2026/11/17 · 今天11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个用 Rust 编写的快速 Python PE 文件解析库。可读取 Windows 可执行文件的头、节区、导入和导出,属性名与 pefile 保持一致。

import peoxide pe = peoxide.PE("C:/Windows/System32/kernel32.dll") print(hex(pe.OPTIONAL_HEADER.ImageBase)) for section in pe.sections: print(section.Name.rstrip(b"\0"), hex(section.VirtualAddress)) for entry in pe.DIRECTORY_ENTRY_IMPORT: print(entry.dll, len(entry.imports)) for symbol in pe.DIRECTORY_ENTRY_EXPORT.symbols: print(symbol.ordinal, symbol.name, hex(symbol.address))

为什么选择 peoxide

pefile 是 Python 读取 PE 文件的标准方式,它是纯 Python 编写的。peoxide 则在 Rust 中解析文件(底层基于 goblin),再把解析完成的只读对象交给 Python。每个文件只调用一次 Rust,而不是每个字段调用一次,速度提升正来源于此。

pip install peoxide

当前发布的版本 0.0.1 只提供一个 wheel,面向 64 位 Windows 上的 CPython 3.14。在其他平台或 Python 版本上,pip 会从源码分发版构建,这需要 Rust 工具链。

若要从克隆的仓库构建,请使用 Rust 工具链和 uv:

git clone https://github.com/ibnaleem/peoxide cd peoxide uv venv uv pip install maturin uv run maturin develop --uv --release

支持的平台

peoxide 需要 Python 3.8 或更新版本。CI 构建以下 wheel:

macOS arm64 的 wheel 目前尚未构建。Apple Silicon 用户可按 Install 一节所述从源码构建。Rust 测试在 Windows 和 Linux 上针对 tests/fixtures 中的合成 PE 文件运行。与 pefile 的一致性测试还需要读取 Windows 系统二进制文件,因此只在 Windows 上运行。

peoxide.PE(name=None, data=None) 可解析文件路径或 bytes 对象。两者只能传一个。

所有内容都在一开始就解析完成,下面的每个属性都是只读的。

标志位会像 pefile 一样以布尔值读取。FILE_HEADER.IMAGE_FILE_DLL、OPTIONAL_HEADER.IMAGE_DLLCHARACTERISTICS_NX_COMPAT 和 section.IMAGE_SCN_MEM_EXECUTE 都是例子,所有 IMAGE_FILE_、IMAGE_DLLCHARACTERISTICS_ 和 IMAGE_SCN_* 名称都可用。

地址计算完全遵循 pefile 的规则,包括将 PointerToRawData 按 512 字节取整、将 VirtualAddress 按节区对齐取整。与 pefile 一样,sections 按 VirtualAddress 排序。

peoxide 报告文件中实际存在的内容。pefile 在此基础上增加了一些便利功能和安全限制,因此两者在以下情况下会不一致:

tests/test_parity.py 在一组系统二进制文件(64 位和 32 位)上,将上述每个字段与 pefile 进行对比。scripts/parity_sweep.py 在整个文件夹上运行同样的对比,并已将上面列出的差异归一化:

该扫描另外跳过了 6 个 SysWOW64 文件,因为 pefile 无法解析它们。

tests/test_errors.py 会向 peoxide 输入空文件、垃圾数据、截断文件和 2,000 个随机损坏的文件,并检查每一个要么能解析,要么抛出 PEFormatError。

scripts/benchmark.py 对同一份内存中的 bytes 分别为每个解析器计时。计时覆盖解析过程,以及随后把每个头、节区、导入和导出都读回来,因此解析器无法通过延迟工作来显得很快。计时前,它会检查 peoxide 的结果在每个文件上都与 pefile 相等。计时期间禁用垃圾回收,每个文件的解析器顺序随机打乱,丢弃一轮预热,并报告中位数轮次。pefile 计时两次。一次限制在 peoxide 所做的工作范围内(头、节区、导入、延迟导入、导出、调试、重定位和资源及其字符串表与版本信息),另一次运行其默认的完整解析。

C:\Windows\System32\wbem 中 75 个 DLL 的结果(25 MB,5 轮,release 构建,一台 Windows 11 机器):

限定范围的那一行才是公平的对比。完整解析那一行是直接调用 pefile.PE(path) 得到的结果,它还会解析 TLS、加载配置、绑定导入等更多内容。

要重现结果,请先以 release 模式构建:

uv run maturin develop --uv --release uv run python scripts/benchmark.py C:\Windows\System32

开发

cargo clippy --all-targets -- -D warnings cargo test # Rust parser tests (peoxide-core) uv pip install pefile pytest uv run maturin develop --uv uv run pytest -q tests # Python parity and error tests uv run python scripts/parity_sweep.py C:\Windows\System32

该仓库是一个 Cargo workspace,包含两个 crate:

peoxide 遵循语义化版本。两个 crate 和 Python 包共用一个版本号,在根 Cargo.toml 的 [workspace.package] 中设置。maturin 从那里读取,因此没有第二处需要修改。在版本为 0.x 期间,次版本发布可能破坏 API。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →