返回资讯中心
外部精选
软件工程
#开发者实时流

开发者 Muayyad Alsadi 发布 fs-relay,通过 HTTP 挂载远程文件夹速度比 s3fs 快 10 倍

来源标题:Show HN: Fs-relay – Mount remote folders over HTTP 10x faster than s3fs (Go)

Muayyad Alsadi 推出开源的 fs-relay,用 Go 编写,可通过 HTTP 挂载远程文件夹,速度比 s3fs 快 10 倍。该项目于 10 月底启动,意在解决高延迟网络下远程文件系统响应慢的问题;贡献者还修复了锁、启动安全和关闭等模块。

Hacker News 最新jadmadi2026/11/9 · 8 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

2004 年,在我房间里两台米色台式机上搭 NFS,感觉就像把雷暴请进了屋。你得编辑 /etc/exports,重启 portmap 和 rpcbind,然后祈祷——只要有人绊到网线,整个桌面就会卡死。经历过早期 Linux 时代的人,都懂那种网络挂载死掉时的特定恐惧:一个跑着 ls 的终端标签页会陷入无法杀掉的内核睡眠(D 状态),连 kill -9 都弹不回来。你要么忍着这棵闹鬼的目录树,要么伸手去按物理重启键。

二十年过去,我们的工作负载搬到了云实例和容器沙箱里,但隔着网络碰文件的摩擦从来没真正消失。我们把手工的 NFS exports 换成了 rsync 循环、后台同步守护进程,或者 sshfs。如果你在中东工作,延迟是每一次往返都要交的日常税,啰嗦的远程文件系统会惩罚你敲下的每一条命令。

十月底,Muayyad Alsadi(@muayyadalsadi)开始从零打造一个干净的答案,叫 fs-relay。过去一周,我有幸向上游贡献了若干修复,涉及锁、启动安全、关闭流程和自更新,汇入了今天的 v0.2.0 版本。这就是 Muayyad 的设计如何让 fs-relay 比常见方案快十倍,以及让多挂载 SQLite 和原子自更新变得可靠的故事。

当你想让多台机器或多个编码 agent 共享一个实时工作区,又不想来回拷贝几个 GB 的数据时,几乎立刻会撞上五堵墙:

Muayyad 围绕一个严格的约束来设计 fs-relay:五个 Go 包、零 CGO、客户端使用无 root 的 Linux FUSE v3(fusermount3),线路上走标准 HTTP 和 WebSockets。

fs-relay 没有去微优化经典的拷贝循环,而是同时跳过了用户态拷贝循环和逐文件往返:

读一个 1 GiB 文件的帧开销不该是读 100 MiB 文件的十倍;目标是恒定成本。一旦这些瓶颈(25 万次系统调用的拷贝循环和逐文件往返)被清掉,fs-relay 还通过用 FlatBuffers 编码帧来让超小文件和啰嗦操作保持轻量,实现原地读取、不产生新的分配(这是给所有亲眼见过序列化开销主导 Go 热路径的人的一堂反复出现的课)。

这就是为什么仓库的基准测试覆盖了两种场景,而数字自己会说话。小文件方面,解包 ansible.tar(27 MiB、5,868 个文件)在 s3fs(挂载于 rustfs 之上)上耗时 203.56 秒,在 fuse-nfs 上耗时 107.89 秒,而 fs-relay 只用 15.47 秒。大文件方面,解包 Antigravity.tar.gz(500 MiB)在 fuse-nfs 上耗时 36.13 秒,在 s3fs 上耗时 21.01 秒,而 fs-relay 是 9.78 秒。更令人意外的是,通过 fs-relay 挂载的 Parquet 文件跑 DuckDB 查询,竟比 DuckDB 直接从 rustfs 经原生 S3 读取同样的文件还要快。

Muayyad 的代码和 SPEC.md 足够清晰,上手很容易。第一个贡献(9071dbd)提议以 MIT 和 Waqf 数字公共许可证(WaqfDPL-1.0)双许可发布,Muayyad 采纳了,让项目永久保持自由开放。

此后,工作围绕四个实际工程问题展开。

要让 SQLite 跨两个远程挂载运行而不损坏,两个挂载必须在字节范围锁(getlk、setlk、setlkw)和 flock 上达成一致。PR #3 在 internal/local/lock.go 中加入了服务端锁表。经典的 POSIX 锁属于(PID, inode)对,当两台主机复用同一个 PID 时,跨机器就会出问题。在 fs-relay 中,持锁者是挂载的 HMAC 签名客户端 ID 与内核锁 owner 的组合。由于 SQLite 的回滚日志会猛击 0x40000000 处的三个确切字节偏移,锁表为 pending 字节、reserved 字节和 510 字节的共享区间维护了专用的快路径计数器,只在必要时才把任意区间落到溢出链表上。

让锁表跑起来只是战斗的一半。在 CI 中启用专门的 go test -race 任务(PR #25)并运行多写者 SQLite 压力测试,暴露了微妙的分布式竞态,已在 PR #24、PR #30、PR #33 和 PR #34 中修复:

我们在 Linux 6.12、SQLite 3.46.1 回滚日志模式下验证过:四个写者分处两个挂载并发提交了 200 行,两个挂载上的 PRAGMA integrity_check 都返回 ok。(WAL 模式不在范围内,因为它依赖一个 -shm 文件,通过 mmap 映射进单个内核的共享内存,无法跨独立机器共享。)

早期,命令行上的一个拼写错误,或第二个 fs-relay 进程指向同一数据目录,都可能造成令人困惑的状态。通过 PR #16、PR #17、PR #18、PR #20、PR #29 和 PR #35,我们加入了非阻塞的 -token-file 密钥加载、默认的 http:// URL scheme、挂载前目录校验(-force-existing-mnt),以及在数据根上加了一道防御符号链接穿越的独占 .fs-relay.lock 文件锁。

凡是在 shell 还停留在挂载目录里时按过 FUSE 守护进程 Ctrl+C 的人,都知道关闭有多容易挂起。在 PR #19、PR #37、PR #38 和 PR #39 中,我们收紧了 CLI 参数校验,并重做了 fs-relay-bind 的信号关闭流程。收到 SIGINT 或 SIGTERM 时,fs-relay-bind 会尝试干净卸载,限时 2 秒。如果打开的文件或停滞的网络刷写让挂载保持忙碌,它就退回到可中断的惰性分离(fusermount3 -uz 或 MNT_DETACH),并以非零码退出、给出清晰提示,而不是把终端挂死。

为 v0.2.0(PR #40),我们给 fs-relay 和 fs-relay-bind 都加上了 update、version 和 help 子命令,以及每 12 小时缓存一次的后台版本检查(FS_RELAY_NO_UPDATE_CHECK 可禁用)。

原地更新两个配套二进制(fs-relay 和 fs-relay-bind)有锋利边缘。如果第一个二进制换好了而第二个失败,机器就会跑在不匹配的版本上。我们的更新器会校验发布 tarball

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →