返回资讯中心
外部精选
软件工程
#开发者实时流

Best-Effort Extent-Same:面向 btrfs 的去重代理工具

来源标题:Best-Effort Extent-Same, a btrfs dedupe agent

Best-Effort Extent-Same(简称 bees)是一款面向 btrfs 文件系统的块级用户态去重代理,可扩展至大型文件系统。它采用离线去重与增量扫描结合的方式,常驻守护进程持续处理新数据,并支持 btrfs 压缩、快照和 reflink。其哈希表占用极小(每 10 TB 唯一数据约 1 GB),且大小恒定,但需要 root 权限,且不支持包含/排除过滤器。

Hacker News 最新modinfo2026/11/9 · 9 天前5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Best-Effort Extent-Same,一个 btrfs 去重代理。

bees 是一个面向块的用户空间去重代理,设计目标是可扩展到大型 btrfs 文件系统。它将离线去重与增量数据扫描能力相结合,从而最大限度缩短数据从写入到去重之间在磁盘上停留的时间。

  • 节省空间的哈希表——每 10 TB 唯一数据仅需约 1 GB 哈希表(0.1GB/TB)
  • 守护进程模式——随着新数据出现,增量对其进行去重
  • 优先处理最大 extent——在固定维护窗口内回收更多空闲空间
  • 支持 btrfs 压缩——可对压缩与未压缩文件的任意组合进行去重
  • 全文件系统去重——即使存在快照和 reflink,数据也只扫描一次
  • 持久化哈希表,关机后可快速重启
  • 哈希表大小恒定——数据集增大时不会增加 RAM 占用
  • 可对活动数据操作——无需安排停机时间
  • 自动自我限流——降低系统负载
  • 支持 btrfs——相比简单的去重工具,能从 btrfs 回收更多空闲空间

弱点

  • 全文件系统去重——没有包含/排除过滤器,不接受文件列表
  • 需要 root 权限(CAP_SYS_ADMIN 以及通常的文件系统读/改权限)
  • 如果存在大量快照,首次运行可能增加元数据空间占用
  • 哈希表大小恒定——数据集变小时不会减少 RAM 占用
  • 仅支持 btrfs

安装与使用

安装配置运行命令行选项推荐阅读bees 注意事项btrfs 内核缺陷——尤其是旧内核的 DATA CORRUPTION WARNINGbees 与其他 btrfs 特性的对比出问题时该怎么办更多信息bees 如何工作scan_one 如何匹配 extentbees 缺失的特性事件计数器说明缺陷报告与贡献

请将缺陷报告和补丁通过电子邮件发送至 Zygo Blaxell bees@furryterror.org。

https://github.com/Zygo/bees

版权与许可

Copyright 2015-2025 Zygo Blaxell bees@furryterror.org。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →