
外部精选
软件工程
#开发者实时流Best-Effort Extent-Same:面向 btrfs 的去重代理工具
来源标题:Best-Effort Extent-Same, a btrfs dedupe agent
Best-Effort Extent-Same(简称 bees)是一款面向 btrfs 文件系统的块级用户态去重代理,可扩展至大型文件系统。它采用离线去重与增量扫描结合的方式,常驻守护进程持续处理新数据,并支持 btrfs 压缩、快照和 reflink。其哈希表占用极小(每 10 TB 唯一数据约 1 GB),且大小恒定,但需要 root 权限,且不支持包含/排除过滤器。
Hacker News 最新modinfo2026/11/9 · 9 天前5 分钟阅读
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Best-Effort Extent-Same,一个 btrfs 去重代理。
bees 是一个面向块的用户空间去重代理,设计目标是可扩展到大型 btrfs 文件系统。它将离线去重与增量数据扫描能力相结合,从而最大限度缩短数据从写入到去重之间在磁盘上停留的时间。
- 节省空间的哈希表——每 10 TB 唯一数据仅需约 1 GB 哈希表(0.1GB/TB)
- 守护进程模式——随着新数据出现,增量对其进行去重
- 优先处理最大 extent——在固定维护窗口内回收更多空闲空间
- 支持 btrfs 压缩——可对压缩与未压缩文件的任意组合进行去重
- 全文件系统去重——即使存在快照和 reflink,数据也只扫描一次
- 持久化哈希表,关机后可快速重启
- 哈希表大小恒定——数据集增大时不会增加 RAM 占用
- 可对活动数据操作——无需安排停机时间
- 自动自我限流——降低系统负载
- 支持 btrfs——相比简单的去重工具,能从 btrfs 回收更多空闲空间
弱点
- 全文件系统去重——没有包含/排除过滤器,不接受文件列表
- 需要 root 权限(CAP_SYS_ADMIN 以及通常的文件系统读/改权限)
- 如果存在大量快照,首次运行可能增加元数据空间占用
- 哈希表大小恒定——数据集变小时不会减少 RAM 占用
- 仅支持 btrfs
安装与使用
安装配置运行命令行选项推荐阅读bees 注意事项btrfs 内核缺陷——尤其是旧内核的 DATA CORRUPTION WARNINGbees 与其他 btrfs 特性的对比出问题时该怎么办更多信息bees 如何工作scan_one 如何匹配 extentbees 缺失的特性事件计数器说明缺陷报告与贡献
请将缺陷报告和补丁通过电子邮件发送至 Zygo Blaxell bees@furryterror.org。
版权与许可
Copyright 2015-2025 Zygo Blaxell bees@furryterror.org。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。