
Kosem 在 GKE 上用 Kata 与 Cloud Hypervisor 让 microVM 启动更快并支持持久化
来源标题:Making microvms fast, persistence and cheap on GKE with Kata and CH
Kosem 在 GKE 上借助 Kata Containers 和 Cloud Hypervisor 运行 microVM,每个环境启动独立 Linux 6.6 内核并运行 dockerd。通过优化文件系统和内存计量,解包内核源码从 2 分钟以上降至 8 秒,2 万文件的 stat 快 45 倍,新环境 20 秒启动。隔离上由 hypervisor 作为与宿主机的边界,并用 ValidatingAdmissionPolicy 限制非 Kata RuntimeClass 及 host 命名空间等请求。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
编码 agent 不只编辑文件。它们会安装系统软件包、运行测试套件,还会用 docker compose 启动 Postgres、Redis 和 BuildKit。这需要真正的 Linux 内核,而为众多客户运行不可信代码,则需要在其周围加上硬件边界。
因此,每个 kosem 环境都是一个 microVM:在启用了嵌套虚拟化的 GKE 节点上,运行 Kata Containers 和 Cloud Hypervisor。[1] 每个环境都会启动自己的 Linux 6.6 内核,并运行一个真正的 dockerd。
在 GKE 节点池上启用 microVM 只需一个设置。真正的工作是让它们用起来像一台笔记本电脑,而这几乎与 hypervisor 无关,关键在于文件系统以及内存的统计方式。解包一个内核源码树从 2 分多钟缩短到 8 秒,对 20,000 个文件执行 stat 快了 45 倍,新环境启动只需 20 秒。
先说说隔离,因为内部运行 Docker 需要一个特权容器。在 Kata microVM 内,这仅仅意味着它在自己的 guest 内核里拥有 root 权限,仅此而已:hypervisor 才是与宿主机之间的边界。一个 ValidatingAdmissionPolicy 会确保这一点。它会拒绝该命名空间中任何不在我们的 Kata RuntimeClass 上的 Pod,或者请求 host 命名空间、host 端口或 hostPath 卷的 Pod。Pod 不会获得 service account token,并且其出站流量只能访问公网:不能访问私有地址段,也不能访问 metadata server。
默认情况下,Kata 通过 virtiofs 将 Pod 的卷共享到 guest 中。Kubelet 在宿主机上格式化和挂载磁盘,guest 则通过 virtiofsd 访问它。每一次 stat、open、unlink 和 readdir 都会离开 guest、跨越 VM 边界、在宿主机内核中执行,然后再返回。在一个大型仓库上执行 git status 会产生数万次这样的往返。
解决办法是把磁盘本身交给 guest。我们以 volumeMode: Block 而不是 Filesystem 的方式挂载每个 Hyperdisk 卷,Cloud Hypervisor 通过 virtio-blk 将它暴露给 guest。guest 中的 PID 1 在首次启动时将其格式化为 ext4 并挂载。文件操作现在都留在 guest 内核中。
解包 Linux 6.6 源码树(约 80,000 个文件),通过 virtiofs 需要 126 到 129 秒。在裸块磁盘上只需 7.6 到 8.8 秒,大约快 15 倍。[2] 当 /var/lib/docker 位于 ext4 上后,Docker 便以其默认配置运行。
新磁盘上的首次冷启动花了 2 分多钟。其中 101 秒是 mke2fs 在对一块新的 Hyperdisk 的每个块发出 BLKDISCARD,而 Google 的存储已经将这些块清零了。三个标志解决了这个问题:
mke2fs -q -F -t ext4 -L kosem -m 0
-E lazy_itable_init=1,lazy_journal_init=1,nodiscard
/dev/kosem-disk
nodiscard 跳过 discard 扫描。lazy 选项让 guest 内核在挂载后在后台清零 inode 表和日志。现在无论磁盘多大,格式化都只需不到一秒。-m 0 去掉了 ext4 为 root 保留的 5%,而我们的非特权用户本来也用不到这部分空间:在 20 GiB 的磁盘上能多出 1 GiB。
现在,全新磁盘上的冷启动需要 20 秒,而重新挂载现有磁盘的重启需要 4.7 秒。还有一个细节很重要:当 PID 1 退出时,VM 就消失了,其中的任何脏页缓存也随之消失。我们的 init 在退出前会调用 sync() 并卸载磁盘。
当 /workspace 和 /var/lib/docker 位于 ext4 上时,大型仓库操作很快。但短命令和测试循环仍然很慢。/usr/bin 中的每个二进制文件、每个共享库、每次 Python import 以及 /tmp 中的每个文件,仍然来自容器的根文件系统,而 Kata 也是通过 virtiofs 共享这个文件系统。
Terminal-Bench 的 cobol-modernization 任务让这个问题变得很明显。[3] agent 测试循环的一次迭代在我们的 microVM 中需要 106 毫秒,而在笔记本电脑上只需 9 毫秒。在我们默认 Debian 镜像上的微基准测试显示了时间花在了哪里: 就连 /bin/true 也慢了 3 倍,仅仅是因为动态链接器的查找。
我们的第一个修复方案是在首次启动时将镜像的文件复制到 ext4 磁盘上。这对一个 600 MB 的镜像有效,但在一个 3.8 GiB 的镜像上却让 VM 崩溃了(见下一节)。我们现在采用的做法是,在镜像注册时将其打包一次,生成一个只读的 EROFS 文件。一个 builder microVM 会在镜像内部运行 mkfs.erofs,因此 registry 凭据永远不会进入读取客户镜像的 VM。
启动时,init 以只读方式 loop 挂载 /rootfs.erofs,并将其作为 overlayfs 的 lower 层。upper 层位于 ext4 磁盘上。每次查找都交给 guest 内核的 EROFS 驱动处理,启动时不会复制任何内容。环境的行为也像真实机器一样:通过 apt 安装的软件包、全局工具链和 $HOME 在停止后仍然保留,而 /tmp 和 /run 则从干净状态开始。
在 agent 的 COBOL 测试中,一个完整的测试用例(运行 COBOL 二进制文件及其 Python 移植版)现在只需 31 毫秒,低于之前的 106 毫秒。单独运行 COBOL 二进制文件只需 2.5 毫秒。
启动时复制的设计正是我们发现这个问题的原因。我们在一个 8 GiB 的环境中启动了 Microsoft 的 devcontainers/universal 镜像,压缩后为 3.8 GiB。不到一分钟,节点的内核就 OOM 杀死了 cloud-hypervisor,整个 VM 也随之崩溃。Kubernetes 重启了 Pod,复制又重新开始,然后 VM 再次死亡。
复制数 GB 的数据会填满 guest 的页缓存,当 guest 认为自己有 9.7 GiB 时这没问题。但在宿主机上,guest 的页缓存是 cloud-hypervisor 进程中的真实内存。达到 8.8 GB 时,它超过了 Pod 在宿主机上的 cgroup 限制(8 GiB 加 640Mi),而 guest 仍然看到将近 1 GB 的可用内存。宿主机在 guest 的 OOM killer 运行之前就杀死了 hypervisor。
解决办法是通过 Pod annotation[5] 将 Kata 额外的 guest 内存缩减到最小值,并在宿主机上为 hypervisor 留出真正的空间:
On every microVM Pod
metadata: annotations: io.katacontainers.config.hypervisor.default_memory: "256"
In place of GKE's built-in RuntimeClass
apiVersion: node.k8s.io/v1 kind: RuntimeClass metadata: name: machines handler: kata-clh overhead: podFixed: cpu: 250m memory: 1024Mi # 256 MiB guest extra + 768 MiB for cloud-hypervisor and virtiofsd
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。