返回资讯中心
外部精选
软件工程
#开发者实时流

efs-utils 容器内 NFS 预读值写入失败致 EFS 顺序读取慢 4 倍

来源标题:Remount sysfs to make its superblock rw: mount -O remount,rw /sys

部分容器挂载 Amazon EFS 后顺序读取速度慢约 4 倍,原因是 NFS 的 read_ahead_kb 为 128 KiB 而非 15 MiB。Linux 5.4 起将默认预读值从 15 倍 rsize 降至 128 KiB,efs-utils 尝试回写 15 MiB 时在只读文件系统上失败。即使安装 v3.3.2 并启用 watchdog 复查,该问题仍会出现。

Hacker News 最新pengubco2026/11/9 · 8 天前17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在容器中测试 Amazon EFS 卷时,我发现某些运行中的顺序读取速度比其他运行慢了约 4 倍。EFS 卷是通过 efs-utils 挂载的,它把 mount -t efs 变成通过本地 TLS 代理的 NFSv4.1 挂载。在慢速运行中,NFS 挂载的 read_ahead_kb 是 128 而不是 15360。

这个症状有一个已知原因。Linux 5.4 将 NFS 默认预读从 rsize 的 15 倍(在 EFS 的 1 MiB rsize 下即 15 MiB)降到了 128 KiB(NFS: Optimise the default readahead size)。efs-utils 自 2021 年的 v1.30.2 起就在挂载时写回 15 MiB,而 v3.3.2 让其 watchdog 在每次轮询时重新检查该值,适用于任何 Linux 5.4 或更高版本。即使安装了 3.3.2,某些容器仍然以 128 KiB 的预读进行读取,watchdog 日志显示写入在只读文件系统上失败:

1WARNING - Failed to modify read_ahead_kb: 15360 with returncode: 1, error: "b'/bin/sh: line 1: /sys/class/bdi/0:52/read_ahead_kb: Read-only file system'"。

在我的测试环境中,efs-utils 运行在它自己的特权容器中,与同一网络命名空间中的非特权容器相邻。当特权容器是网络命名空间中第一个启动的容器时,预读被设置为 15 MiB。否则它保持为 128 KiB,这就是为什么有些运行慢而其他运行正常。本文逐步分析根本原因和一行修复方法:重新挂载 sysfs,使其超级块变为 rw。

每个 NFS 挂载都会获得一个匿名设备号,例如 0:52,以及它自己的后备设备信息(BDI),sysfs 将其暴露在 /sys/class/bdi/0:52。该目录中的 read_ahead_kb 限制挂载上每个文件的预读窗口。新的 BDI 从 VM_READAHEAD_PAGES 开始,即 128 KiB(mm/backing-dev.c, include/linux/pagemap.h)。直到 5.3,NFS 用 rsize 乘以 15 覆盖它(fs/nfs/super.c);自 5.4 起,它只设置 io_pages 并保留 128 KiB 默认值。

要查找挂载的 BDI,从 stat 获取设备号:

1d=$(stat -c %d /mnt/efs) 2cat /sys/class/bdi/$((d >> 8)):$((d & 255))/read_ahead_kb

efs-utils 执行相同的查找,然后在挂载时通过 shell 写入 15 乘以 rsize 的 KiB 值。它立即写一次,并在 sleep 2 后再写一次(optimize_readahead_window()),watchdog 在每次轮询时比较并重写它(verify_and_update_readahead())。BDI 是全局的,不是按命名空间的,所以主机和每个容器看到相同的文件和相同的值。

/sys 不在任何磁盘上。它是由 kernfs 构建的内核对象视图。像任何已挂载的文件系统一样,它有两层。超级块是一个文件系统实例的内核对象,挂载将该实例附加到一个路径。两层都带有只读标志,/proc/self/mountinfo 显示两者:按挂载的选项在 " - " 分隔符之前,超级块选项在行尾。

124 68 0:23 / /sys rw,nosuid,nodev,noexec,relatime shared:2 - sysfs sysfs rw,seclabel 2 ^ 超级块设备 ^ 按挂载选项 ^ 超级块选项

写入需要两者都是 rw:如果挂载有 MNT_READONLY 或超级块有 SB_RDONLY,__mnt_is_readonly() 返回 true。

sysfs 每个网络命名空间保留一个超级块。当 sysfs 被挂载时,它记录调用者的网络命名空间作为挂载的标签(fs/sysfs/mount.c),当现有超级块的根和标签匹配时,kernfs_test_super() 重用它。原因是 /sys/class/net,它必须只列出该命名空间的接口。

标志仅在创建超级块时应用:sget_fc() 将请求的标志传递给新超级块的 alloc_super(),并原样返回现有超级块。后来请求 rw 的挂载在第一个挂载创建的超级块之上获得按挂载的 rw 标志。超级块在其任何挂载存在时一直存在。一旦网络命名空间中最后一个 sysfs 挂载消失,那里的下一个挂载会创建一个带有自己标志的新超级块。

示例:sysfs-netns.sh 在一个新的网络命名空间中两次挂载 sysfs,一次 ro 一次 rw,以两种顺序,并通过每个挂载写入 read_ahead_kb:

1== host netns 2/sys dev=0:23 per-mount=rw,nosuid,nodev,noexec,relatime superblock=rw,seclabel 3 4== new netns: mount sysfs ro at /tmp/sA, then rw at /tmp/sB 5/sys dev=0:23 per-mount=rw,nosuid,nodev,noexec,relatime superblock=rw,seclabel 6/tmp/sA dev=0:48 per-mount=ro,relatime superblock=ro,seclabel 7/tmp/sB dev=0:48 per-mount=rw,relatime superblock=ro,seclabel 8/tmp/sA/class/net: lo 9write via /tmp/sA: Read-only file system 10write via /tmp/sB: Read-only file system 11 12== new netns: mount sysfs rw at /tmp/sA, then ro at /tmp/sB 13/sys dev=0:23 per-mount=rw,nosuid,nodev,noexec,relatime superblock=rw,seclabel 14/tmp/sA dev=0:48 per-mount=rw,relatime superblock=rw,seclabel 15/tmp/sB dev=0:48 per-mount=ro,relatime superblock=rw,seclabel 16/tmp/sA/class/net: lo 17write via /tmp/sA: OK 18write via /tmp/sB: Read-only file system

在两种顺序中,两个挂载共享超级块 0:48,与主机的 0:23 分离,只有两层都是 rw 的挂载才能写入。

containerd 的默认 spec 将 /sys 挂载为 sysfs,带有 nosuid、noexec、nodev 和 ro(pkg/oci/mounts.go)。对于特权容器,WithPrivileged 包含 WithWriteableSysfs,它在那个容器自己的 spec 中将 ro 改为 rw。然后 runc 在容器的网络命名空间内使用 spec 中的标志挂载一个新的 sysfs(libcontainer/rootfs_linux.go),内核规则如上所述生效。只有当该容器的挂载是网络命名空间中的第一个时,超级块才是 rw。

有三种方法可以尝试使 /sys 可写,它们触及内核的不同部分:

第三条命令是修复方法。它清除超级块上的只读标志,并且不影响其他容器的 /sys 挂载,所以它们保持按挂载 ro 并且仍然无法写入 sysfs。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →