返回资讯中心
外部精选
软件工程
#开发者实时流

研究者将 CPython 适配到 Yk,基准测试多数项目快于原版 CPython

来源标题:Adapting CPython for Yk

基于 Yk 的 ykcpython 在 13 项基准测试中,除 DeltaBlue 慢约 2.5% 外,其余均快于标准 CPython 3.15.1;在 8 项上快于开启实验性 JIT 的 CPython。测试在 64 核 AMD EPYC 7773X 的 Debian 机器上运行,数据由 30 次进程执行取均值和 99% 置信区间。作者强调该项目远未可供使用,基准成绩不代表真实程序性能。

Hacker News 最新frostbyte72026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这张表里,cpython 指的是“普通”的 CPython 3.15.1;cpython_jit 是开启了实验性 JIT 的 CPython 3.15.1;ykcpython 则是提交 31b4d387。时间单位为秒(越低越好),均值和 99% 置信区间通过对 30 次进程执行做 bootstrapping 得出,运行环境是一台 64 核 AMD EPYC 7773X 的 Debian 机器,处于 performance 模式(可下载可重复实验和原始数据)。每一行中最快的条目以粗体显示。对这张表的简单总结是:除 DeltaBlue 之外(ykcpython 在那里约慢 2.5%),ykcpython 在每个基准上都比 cpython 快;并且在 13 个基准中有 8 个比 cpython_jit 快。

本文的目的并不是要假装 ykcpython 已经可以在任何程度上供人使用——它绝对没有!也不是要假装在更广泛的程序集合上也能期待达到上面那样的性能——绝对不会!我的看法是,基准测试套件的性能是一道需要跨过去的坎,而不是目的本身:一个基准跑得好的系统在真实世界中可能表现很差;但一个基准跑得差的系统在真实世界中几乎总是表现很差。

更确切地说,我想用这篇文章来展示为 yk 适配一个解释器是什么样子:我经历了哪些阶段;以及让人感受一下我添加的不到 450 行代码(LoC)如何足以产生有意义的效果。幸运的是,我当时觉得这可能是一段有用的历程,所以记下了足够多的东西,才能把这篇完整的文章写出来。

如果你没有读过之前那篇 yk 文章,这里做一个非常简要的回顾。给定一个经过轻微修改的 C 解释器作为输入,yk 会输出一个带有元追踪 JIT 编译器的 VM。yk 的目标并不是产出尽可能最快的 JIT 编译语言实现:相反,它的目标是在保持 100% 兼容性的同时,让你熟悉并喜爱的语言实现变得稍微快一些。换句话说,一个“yk 化”的解释器是现有 C 版解释器的一个 fork,附带(但愿如此!)少量调整。与任何元追踪 JIT 编译器一样,yk 会识别 guest 语言(例如 Lua 或 Python)中的热循环,并追踪解释器(即记录解释 guest 语言时 C 代码正在执行什么)。然后它优化这些追踪并将其转换为机器码。

yk 要求解释器通过 YkLocation 结构体告诉它 guest 语言中潜在的循环在哪里。可选地——不过如果想要获得好的性能,这绝对是必要的!——解释器作者可以添加优化提示,嵌入关于该语言或其常见用法的知识,例如“在此处,这个看似动态的值几乎从不改变”。一般来说,确定 YkLocation 放在哪里相对容易,但确定提示放在哪里需要对解释器有深入得多的理解,并且需要仔细测量来弄清哪些有帮助、哪些没有。

在为 yk 适配解释器时,我面临的挑战是我很少了解该解释器,甚至完全不了解。我学到的做法不是试图一次做完所有事情,而是从尽可能简单开始:我尝试做最小的改动,让一些追踪被记录并编译成机器码。这可能比看起来更棘手:我得理解构建系统,并弄清楚把一些还算合理的 YkLocation 放在哪里。我还学会了确保从这第一步开始语言测试套件就能正常工作:此后保持它正常工作不仅容易得多,而且能减少尝试不健全优化的次数。

对于一个简单的解释器,你可能只需改动不到 10 行代码(LoC)就能得到一个基本的 JIT 编译器。对于稍大一些的解释器,往往需要更多改动。例如,yk 不喜欢在 opcode 之间使用 goto 的“threaded”解释器,因为这没有给它足够的机会介入并观察正在发生什么。幸运的是,这类改动通常不会太大。

由于我已经很久没有看过 CPython 的内部实现了,我从自己隐约熟悉的部分开始。后来我发现,这部分现在被称为“tier 1”解释器。快速 hack 进 yk 支持后,暴露出 yk 中若干缺失的东西(从基本的原子加载,到 sub 中未实现的位宽,再到一些小不兼容(例如在一个 CPython 测试清空某个环境变量之后去读取它),以及彻头彻尾的 bug(从 stackmap 修复到 fork 之后不做傻事))。修复所有这些花了我大约一周半时间;我不打算在本文中详细讨论它们,因为它们是通用修复,并非 ykcpython 特有。

我对 tier 1 解释器的适配是刻意保持极简的。200 行代码(LoC)的 diff 中大部分改动都是小型的一次性修改,并不特别有趣:我们需要让 CPython 使用它(内置但非默认)的基于 switch 的解释器;而 yk 使用影子栈,所以 CPython 的 C 栈调整也需要把这一点考虑进去。我做的最有意思的事情是在向后跳转 opcode 处添加 YkLocation,我原本期望这足以创建出一些还算合理的追踪。我并没有指望 ykcpython 的第一个版本会比 CPython 快——至少它几乎没有任何优化提示——但它比我预期的慢得多。它确实在创建追踪,而且追踪执行正确——测试套件通过了,尽管占用的内存比我期望的多——但显然有什么地方不对。

幸运的是,没过多久我就弄清楚了问题所在。4 年前,CPython 在“特化”(specialisation)的名义下加入了对 quickening 的支持。Quickening 是一种简单而巧妙的技术,用于提升解释器性能:在可能时把“通用”opcode(例如“相加对象”)改写为“特化”的、更快的 opcode(例如“相加两个整数”),并在必要时反优化回通用

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →