
开发者在 WSL2 中以非 root 方式运行 Firecracker 微型虚拟机隔离编程代理
来源标题:Firecracker on WSL2, without root
一名开发者让编程代理的每次运行都跑在独立的 Firecracker 微型虚拟机中,全程无需 root,环境为 Windows 笔记本上的 WSL2。最小虚拟机启动不到 0.2 秒,完整的代理虚拟机约 1 秒;头两周代理运行近千次,每次都在独立 VM 中。作者指出 Firecracker 并不官方支持 WSL2,且其仅在无 root 的 guest 内测试过边界。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我的编码 agent 会运行并非我编写的代码:依赖、测试套件、我一小时前克隆下来的仓库里的脚本。常见的沙箱与宿主共享内核,只要内核守得住,它就能守住。我想让每个 agent 都有属于自己的内核:每次运行一个小型 VM,运行结束就消失。在我实际工作的机器上——一台 Linux 环境为 WSL2 的 Windows 笔记本——并且在它运行期间不需要 root。
把 Firecracker 嵌套在 WSL2 里,就能做到。最小 VM 不到 0.2 秒就绪;一个完整的 agent VM 大约需要一秒。头两周里,我的 agent 运行了近一千次,每次都在各自的 VM 里跑。走到这一步经历了十个意外。
先说明两点注意事项:Firecracker 并不支持 WSL2,而且到目前为止,我只是从一个没有 root 的 guest 内部去攻击这道边界。除了嵌套和缺少 seat 之外,这里没有任何东西是 WSL2 特有的;在 Debian 或 Ubuntu 上它应当同样能跑,虽然我还没在那里测试过,而且 Ubuntu 24.04 及更新版本会限制它所需的非特权用户命名空间。
vsock 拨通那一个 host 每个 agent VM 周围的那套栈 从外往内嵌套:Windows 与 Hyper-V;带 /dev/kvm 的 WSL2,因此每个 VM 都是嵌套的;一个位于独立 slice 中的 systemd user scope,它的内存、swap、任务数和 CPU 上限在启动前会被读回校验;一个位于从属 uid 下的 bubblewrap 牢笼,拥有全部命名空间、没有任何 capability、只读根文件系统,且 kvm 是它唯一的组;Firecracker,没有网络接口;在它内部是拥有自己内核和 agent 的 guest。guest 唯一的出路是 vsock,通往 WSL2 中 scope 之外的一个 broker,由该 broker 拨通每个端口所代表的那一个 host。
Windows 与 Hyper-V WSL2 VM WSL2:Debian 13,内核 6.18 /dev/kvm:每个 VM 都是嵌套的 systemd scope,独立 slice 上限,启动前读回校验 bubblewrap 牢笼,从属 uid 无 capability,只读根文件系统 Firecracker 无网络;一个 vsock 设备 guest:自有内核,agent 运行没人检查过的代码 vsock broker 每个 host 一个端口;只拨通那个 host 图 1. 每一层都是一道独立的边界。guest 唯一的出路是 vsock,通往 scope 之外的 broker。
WSL2 暴露了 /dev/kvm,所以每个 Firecracker VM 都是嵌套的。一个位于独立 slice 中的 systemd user scope 限制内存、swap、任务数和 CPU。一个 bubblewrap 牢笼赋予 Firecracker 全部命名空间、没有任何 capability、清空的环境变量,以及一个只读根文件系统,其中仅包含它的二进制、内核和镜像等少量内容。它以我的 /etc/subuid 范围内的一个 uid 运行,就像 rootless Podman 那样,kvm 是它唯一的组:它能打开 /dev/kvm,但碰不到我的任何文件。guest 没有网络接口。它唯一的连线是 vsock,而在宿主这一端,一个 broker 拨通每个端口所代表的那一个 host。
有两条命令需要在设置时用一次 root:
sudo usermod -aG kvm "$USER" # 然后重新登录 echo "$USER:$(getent group kvm | cut -d: -f3):1" | sudo tee -a /etc/subgid
有多快 我能写出的最小 guest:一个 16 MiB 的镜像,里面只有一个通过 vsock 报告就绪的 /init。一个 vCPU,128 MiB,每种配置启动二十次:
牢笼没有带来任何可测量的开销,Firecracker v1.18.0 的启动速度与 v1.17.0 一样快。第一行里的半秒钟是一个键盘造成的。Firecracker 的 CI 内核带有 AT 键盘驱动,而 Firecracker 默认的内核命令行会阻止它去探测一个并不存在的键盘。任何 boot_args 都会整行替换掉那一行:我的就替换了,Firecracker 入门指南里的示例也替换了,于是它在每次启动时都要等上大约半秒。
请在你自己的命令里保留 i8042.noaux i8042.nomux i8042.dumbkbd。我的内核是用 Firecracker 仓库里的配置构建的,根本没有键盘驱动,所以它从不等待。
- /dev/kvm 上的 ACL 会消失。Firecracker 的入门指南建议 setfacl -m u:${USER}:rw /dev/kvm。我的第一个 VM 启动成功,接下来的十九个都得到「Permission denied」。Debian 的 udev 规则把 kvm 交给坐在 seat 上的那个人,而每个新 VM 都会让 udev 重新应用那条规则。WSL 没有 seat,所以我的条目就这样被抹掉了。
那就用 kvm 组。(我关于原因的记录。)
-
sg kvm 会咬人。它让 kvm 成为主组,这会把进程的 /proc 条目对其他组的进程隐藏起来,并弄坏 newuidmap。改为重新登录;这样 kvm 就是附加组了。
-
一个并不存在的内存上限。在默认的 app.slice 里运行 systemd-run --user -p MemoryMax=64M,曾让一个进程占用到 200 MiB。没有报错:这个 scope 干脆就没有 memory.max。在 WSL 全新启动之后它又能工作了,而我一直没能复现。在启动任何东西之前把限制读回来校验,如果它不是你要求的,就停下来。scope 里的进程可以自己做这件事:
systemd-run --user --scope --quiet --slice=agents.slice
-p MemoryMax=256M -p MemorySwapMax=0 --
sh -c 'cat "/sys/fs/cgroup$(cut -d: -f3 /proc/self/cgroup)/memory.max"'
当上限生效时它会打印 268435456,不生效时则打印 max 或报错。
-
CPU 不受限制。模拟串口每个字节都要付一次 VM exit 的代价;一个话多的 guest 能让两个核心忙个不停。在 scope 上设置 CPUQuota=。(一个批处理串口 I/O 的 pull request,firecracker#6327,仍然开着。)
-
一次 OOM kill 会干掉整个 scope。当 guest 超出它的上限时,systemd 会停掉 scope 里的所有东西,包括我的 watchdog。只有 scope 的 Result=oom-kill 能说明发生了什么。
-
bwrap 创建的挂载点是 0700。在从属 uid 下,Firecracker 无法进入存放它自己二进制的目录。显式把它改成 0755。
-
不需要针对嵌套命名空间的规则。我正要写一条,然后读了 Firecracker 的 seccomp 过滤器:它的任何线程都不得调用 unshare、clone、clone3 或 setns。Firecracker 已经禁止了这一点。
-
一条消息可能随 guest 一起死去。我的第一个 /init 写下 ready 然后重启了 VM;宿主始终没收到那一行。在把一次写入当作已送达之前,先等一个回复。
-
半关闭无法跨越 vsock。guest 的 shutdown(SHUT_WR) 永远到不了宿主,而宿主的半关闭会为 guest 终结整条连接。那些依赖
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。