
博主在 6.5 GB S3 数据上对比测试 CloudMounter 与 rclone
来源标题:I Benchmarked CloudMounter Against Rclone on 6.5 GB of S3 Data
CloudMounter 从 S3 打开 5 GB 模型检查点仅需 3.1 秒,但读取 3515 张小图片耗时近 50 分钟。作者在同一台 Mac、同一网络下,用 SHA-256 校验文件,将付费的 CloudMounter 与免费的 rclone 进行对比。作者还发现 Mac App Store 版 CloudMounter 4.18 不含 FUSE 驱动和内核扩展。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AWS S3 机器学习 macOS 我把 CloudMounter 和 rclone 放在 6.5 GB 的 S3 数据上做了基准测试 Sebastian Buzdugan 阅读时长 7 分钟· 刚刚
一个应用从 S3 打开一个 5 GB 的模型 checkpoint 只用了 3.1 秒。同一个应用从同一个 bucket 读取 3,515 张小图片,却需要将近五十分钟。
披露:这是一篇付费评测。开发 CloudMounter 的 Electronic Team 支付了费用,并在我完成测量后看到了这些数字。下面的内容没有因为他们而做任何修改。
如果你训练模型,你的数据和 checkpoint 很可能都放在 S3 上。你的编辑器、notebook 以及一半的工具都想要一个文件夹。
在 Finder 里挂载 bucket 看起来是显而易见的桥梁。很多悄无声息的缓慢也正是从这里来的,因为挂载会把每一次网络往返都藏在一个看起来像本地磁盘的东西后面。
所以我测试了一个付费选项 CloudMounter,对照大多数工程师已经在用的免费工具 rclone。同一台 Mac、同一个网络、同样的字节,每个文件都和原始 SHA-256 做了校验。
官网没有说明 CloudMounter 是如何挂载的,于是我打开了应用包。Mac App Store 版本(4.18)没有附带 FUSE 驱动,也没有内核扩展。它接入的是 Apple 的 File Provider,也就是 iCloud Drive 背后的那套系统。
plutil -p "/Applications/CloudMounter.app/Contents/PlugIns/MountProvider.mas.appex/Contents/Info.plist"
| grep ExtensionPointIdentifier
"NSExtensionPointIdentifier" => "com.apple.fileprovider-nonui"
这一个设计选择解释了本文中的每一个数字。
在 File Provider 下,文件在被打开之前只是一个占位符。第一次打开会下载它。之后它就留在你的磁盘上,你还可以把某个文件夹固定为离线可用。所以每个测试都有两个数字:首次读取和第二次读取。
这也意味着 App Store 版本是完全沙箱化的,你的密钥会存进 macOS keychain,而不是 home 目录下的配置文件。从 CloudMounter 官网下载的版本则不是沙箱化的。
CloudMounter 接入的是和 iCloud Drive 相同的系统。macOS 上的 rclone 则运行一个本地 NFS 服务器。这个差异解释了下面所有的数字。
基准测试设置 eu-central-1 里的一个 S3 bucket,以及一个用固定种子生成的数据集,确保每个工具读取的字节完全相同:
make_dataset.py (excerpt): same bytes every run
blob(f"{out}/large/checkpoint_5g.bin", 5 << 30, seed=1) blob(f"{out}/large/shard_1g.bin", 1 << 30, seed=2) for i in range(10000): # a small image data set blob(f"{out}/small10k/img_{i:05d}.bin", 50 * 1024, seed=1000 + i)
在此基础上,还有一棵包含 20 个文件夹、每个文件夹 500 个文件的目录树。为了确定上限,我先用 AWS CLI 上传了所有内容:大文件约 49 MB/s,小文件每秒 95 个,使用的是默认的 10 个并发请求。
rclone 我用的是 Homebrew 构建版。它在 macOS 上没有 FUSE 挂载,Homebrew 在安装时也说明了这一点,所以挂载走的是内置的 NFS 客户端:
rclone nfsmount cmbench:my-bucket ~/cm-mnt/rclone
--vfs-cache-mode full # run 1: defaults
run 2: same command plus --use-server-modtime
CloudMounter 使用默认设置运行。这里测的全是读取,因为这才是挂载 bucket 在机器学习中最主要的工作:加载 checkpoint 和遍历数据集。
冷读那个 5 GB 的 checkpoint,CloudMounter 花了 2 分 18 秒,大约 39 MB/s。rclone 用了不到两分钟,大约就是 AWS CLI 上传时的速度。在首次读取上,CloudMounter 大约能发挥出连接带宽的 80%。
第二次读取才是 File Provider 体现价值的地方。
首次读取时两个工具都接近线路速度。第二次读取才是关键:CloudMounter 从本地副本读取只用了 3.1 秒。
CloudMounter 再次读取同样的 5 GB 只用了 3.1 秒。这是 SSD 的速度,不是云的速度。rclone 经过 NFS 层,即使启用了完整缓存仍然需要 86 秒。它的热读取最高大约 62 MB/s,仅比首次读取略高。
如果你一天要把同一份权重加载进 notebook 十次,这就是几秒钟和大约十五分钟之间的差别。
接下来是一个包含 10,000 个文件的文件夹。CloudMounter 在开启加密的情况下列出它用了 141 秒。其团队告诉我,在连接设置里关掉加密后列出会更快。rclone 在默认设置下用了 469 秒,几分钟后又用了 426 秒。
我差点就把这记成 CloudMounter 的一场干净胜利。然后我读了 rclone 的 S3 文档。默认情况下 rclone 会把自己的修改时间存为对象元数据,读取它“每个文件需要额外一次 HEAD 请求”。除此之外,目录缓存 5 分钟后就会过期。
--use-server-modtime # use the S3 upload time, skip one HEAD per object
按回车或点击查看完整尺寸图片
同一个文件夹,同一个 bucket。一个 rclone 参数就把冷列出从将近八分钟缩短到三秒。
加上它之后,同样的冷列出只用了 3.3 秒。所以公平的说法是:在零调优的情况下,CloudMounter 浏览大文件夹比 rclone 快得多。而面对调优过的 rclone,它的首次列出要慢四十多倍。
文件夹列出一次之后,CloudMounter 再次显示它只需 0.02 秒。调优过的 rclone 需要 2.5 秒。
如果你训练模型,这个测试最重要:一个接一个地读取成千上万个小文件,就像数据加载器遍历一个图片文件夹那样。
冷读对每种挂载方式都很慢,因为每个文件都是一次独立的往返。一旦缓存完成,CloudMounter 每秒可以供应超过 5,000 个同样的文件。
CloudMounter 只做到了每秒 1.2 个文件。我在将近五十分钟、读到 3,515 个文件时停止了它。全部 10,000 个会需要两个多小时。rclone 在默认设置下是每秒 6.2 个,加上参数后是 9.7 个。
每个文件都是对 S3 的一次独立往返,而挂载是一次一个地读取它们。AWS CLI 在同样的文件上达到了每秒 95 个,因为它一次并发十个请求。
一旦缓存完成,CloudMounter 每秒可以供应 5,240 个同样的文件。代价完全在首次读取上。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。