返回资讯中心
外部精选
软件工程
#开发者实时流

BPF 调度器 scx_lavd 已部署至 Steam Frame 和 Meta 数据中心

来源标题:Sched_ext: A sketch of the scx_lavd scheduler (Part 3)

基于 sched_ext 的 Linux CPU 调度器 scx_lavd 已部署到 Valve 的 Steam Frame VR 头显和 Meta 数据中心。该调度器用 BPF 编写,能自动识别线程的紧急程度;自 2024 年 3 月首次提交以来已发展至约 12,100 行代码、904 次提交、42 名贡献者,开发由 Valve 和 Meta 赞助。

Hacker News 最新multics692026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这是关于 sched_ext 的第三篇博客。距离上一篇博客已经过去一段时间了。我一直在忙于开发 scx_lavd 调度器。很高兴与大家分享,scx_lavd 现已部署到 Steam Frame(一款 VR 头显)以及 Meta 的数据中心。今天,让我来概述一下 scx_lavd。本文基于我和 Gavin Guo 在 Kernel Recipes 2026 上所做的演讲“LAVD:从游戏到服务器集群——面向云、ML 和边缘的 BPF 调度器”。

scx_lavd 代表 Latency-criticality Aware Virtual Deadline(延迟关键性感知虚拟截止时间)。它是一个用 BPF 编写、构建在 sched_ext 之上的 Linux CPU 调度器,无需任何人告知,它就能判断出你的哪些线程是紧急的。自 2024 年 3 月在 scx 仓库中首次提交以来,它已发展到约 12,100 行代码、904 次提交和 42 位贡献者。开发工作由 Valve 和 Meta 赞助。

整个设计归结为一个理念以及认真对待它所带来的四个结果:前两个是调度器本身。后三个是在真实机器上运行所需要的——也正是同样的代码最终既出现在掌机中、又出现在服务器集群中的原因。让我们开始吧!

这个项目始于 2022 年底到 2023 年初,面向 Valve 的掌上游戏设备 Steam Deck。SteamOS 是一个 Linux 发行版,通过 Proton 和 Wine 运行未经修改的 x86 Windows 游戏。当时,SteamOS 使用的是 CFS——那个年代的默认调度器,用户时不时抱怨延迟尖峰和帧时间尖峰。我们尽力调整调度器的 debugfs 参数,但效果不佳。更严重的问题是,不存在一套对所有类型游戏都适用的通用参数设置。于是我们提出了一个更直接的问题:我们能否在 sched_ext 上构建一个游戏优化的调度器?

当我开始这个项目时,我对游戏以及游戏引擎的工作原理知之甚少。于是我在 SteamOS 上运行游戏并收集 strace 日志。大约 80% 的系统调用是 futex。strace 看到的大部分是 Wine 同步:Wine 将 Windows 同步原语映射到 futex 上,所以游戏主要做的事情就是任务之间互相等待。当我追踪谁唤醒谁时(使用 Igalia 的 VaporMark),一个游戏看起来像一张图,而不是一个热循环。例如,四个工作线程都唤醒 dxvk-cs 线程,后者又唤醒 dxvk-submit;winepulse_main 和 winepulse_timer 这两个音频线程互相唤醒。

想想当你在游戏设备上按下按钮时会发生什么。你的角色移动,声音产生,屏幕更新。在图形侧,游戏线程做一些工作,将请求传递给图形线程,后者最终将帧更新提交给 GPU。音频侧类似:游戏生成音频,经过 Wine 层中的音频任务,然后到 PipeWire,最后到扬声器。要完成一个逻辑任务,许多任务必须相互交互。这是关键发现之一。

进一步挖掘,我发现了游戏工作负载的更多特征:

游戏中约 70-75% 的调度是由阻塞系统调用(epoll、pipe_read、futex_wait)发起的。只有 25-30% 是由抢占或定时器 tick 引起的。因此,对睡眠和唤醒边沿进行插桩是合理的,而不是对 tick 插桩。

游戏运行时大约有 300 个任务被调度,其中约 90% 从不退出,前 30-40 个任务占所有调度的 95%。

CPU 利用率为 65-95%,从不到 100%。机器是忙碌的但并未满负荷,所以卡顿是顺序问题,而不是吞吐问题。

简而言之,游戏是通信密集型、短运行时间(大多数任务每次运行不到 1 毫秒)且半周期性的,因此过去的行为可以预测未来的行为。LAVD 的整个设计都源于这些观察。(sched_ext 本身在 6.12 进入主线,那是一年多以后的事了。)

稳定的 144 FPS 和每秒出现一次 40 毫秒卡顿的 144 FPS 有着相同的平均值,但只有前者是可玩的。我是吃了苦头才明白这一点的:我的第一个 BPF 调度器有时能达到 120 FPS,然后下一刻就掉到 10。它的平均值看起来不错,但它的 1% 低帧率——用玩家的话说就是尾部延迟——崩了,游戏感觉起来很抖动。那些糟糕的帧是花在运行队列中等待,而不是渲染上。

面向吞吐的调度器无法将游戏的输入、渲染或音频线程与编译任务区分开来,而 nice 值也无济于事:它控制的是任务获得多少 CPU 时间,而不是何时获得。LAVD 是一个像 EEVDF 一样的虚拟截止时间调度器,但有一个关键区别:它自动推断每个任务的紧急程度——即其延迟关键性——并用它来决定截止时间、时间片和 CPU。

LAVD 的开发经历了三个阶段,每个阶段都带来了新硬件,从而催生了新功能:

Steam Deck。最初,情况相当简单。我们只关注 Steam Deck 上的游戏工作负载,其硬件很简单:一个 AMD x86 CPU,8 个 CPU 和单个 LLC 域。因此开发工作集中在如何在没有用户标注的情况下精确推断紧急程度,以及如何在计算虚拟截止时间和时间片时使用它。

Steam Frame。当那部分成熟后,Valve 开始开发 Steam Frame,一款 VR 头显,通过 Proton、Wine 和 FEX 二进制翻译层在高通骁龙 ARM CPU 上运行未经修改的 x86 Windows 游戏。骁龙是一个典型的异构系统,具有小核、中核和大核。大约在那时,我们引入了计算域的概念,以便不同类型的内核被区别对待——而在电池供电设备上,能效成为了一等关注点。

数据中心。后来,我们发现我们最初的设计——最小化尾部延迟——对服务器工作负载(如 Meta 的)也相当有用。于是我们将范围扩展到具有 200 个 CPU 和 10 到 20 个 LLC 域的数据中心机器,并增加了 cgroup 带宽控制等额外需求。

最初,这是一个单人项目;我是唯一的开发者。到目前为止,

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →