
clifr:为 Linux 服务器打造可回溯 72 小时的命令行飞行记录仪
来源标题:A Linux time travel system
开源工具 clifr 发布,作为 Linux 服务器的“黑匣子”持续记录系统事件,让用户能回溯任意过去时刻系统状态。它基于 eBPF 捕捉短生命周期事件,数据默认保留 72 小时,繁忙服务器上约占用单核 2% CPU。查询时可按指定时间重建 ps、top 等约 40 个命令当时的输出,目前为 AGPL-3.0 授权的工作原型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
clifr(command line flight recorder,命令行飞行记录仪)是 Linux 服务器的“黑匣子”:一台持续记录系统上发生的一切的飞行记录仪,让你事后可以回溯,查看这台机器在过去任意时刻的样子。
clifrd,即记录器。它作为后台服务运行,不停歇地记录:数据存放在 /var/lib/clifr,默认保留 72 小时。它使用内核的 eBPF,因此短命事件不会漏掉;而且它很轻量:在我们的测试中,一台繁忙服务器上大约占用一个 CPU 核的 2%。
clifr,即查询工具。它重建常用命令(ps、top、ss、lsof、df、free、vmstat、ip、dmesg 等约 40 个)在过去的某一时刻应当呈现的输出: clifr --at "2026-11-12 02:45" "ps aux" 时间可以是日期("2026-11-12 02:45")、今天的某个时刻("02:45")或相对时间("2 hours ago"、yesterday)。clifr 从不真正运行该命令:它从记录中重建输出。
它的用途:回答关于已经发生的事情的问题,而此时再实时查看已经太晚。例如:它是对那些工具的补充:Prometheus 告诉你什么时候出了问题,clifr 告诉你出了什么问题。
状态:一个可用的原型,采用 AGPL-3.0 许可,已在 Ubuntu 22.04 和 26.04、RHEL/Rocky 8 和 Alma 9 上测试,包括一次混合服务器负载下的 4 天浸泡测试;尚未在生产服务器上运行(Status)。软件包:0.1.0 预发布版(release notes)。
clifr 可以重建 41 个命令:35 个是常见的 Linux 工具,6 个是 clifr 自有的。clifr help COMMAND 会显示每个命令支持的选项。
每个命令都作用于某一时刻或某一时间段: clifr --at "2026-11-13 14:30" "ps aux" # 某一时刻 clifr --since "13:00" --until "14:00" --samples "top -b -n 1" # 某一时间段 clifr 不支持的选项会直接报错,而不是悄悄给你错误的结果。
只有记录器会一直产生开销。clifrd 持续占用一些 CPU、内存和磁盘;clifr 只在查询时运行,查询结束即退出。
在开发 clifr 的台式机上测得(Intel Core Ultra 7 155H,22 个逻辑 CPU,61 GB 内存,Ubuntu 26.04,内核 7.0,普通桌面使用约 510 个进程),使用打包的服务及其默认设置(每 30 秒采样一次,保留 72 小时): 你可以在自己的机器上核对每一个数字: systemctl show clifrd -p ActiveEnterTimestamp -p CPUUsageNSec # 服务启动以来的 CPU 时间 ps -o rss,etime,time,args -C clifrd # 当前内存 sudo du -sh /var/lib/clifr # 磁盘 clifr export samples # clifrd 在每次采样时的自身数据(CSV) 在这台机器上,6 小时 11 分钟内消耗了 79.4 秒 CPU(单核的 0.36%,与 clifrd 自身记录的 0.353% 相符)。systemd 的 MemoryCurrent 显示得更多(153 MiB,峰值 201 MiB),因为它把 clifrd 写入文件的页缓存也算进去了,而一旦有其他东西需要,内核就会把这些内存交还。每次采样的中位耗时是 40 ms,最大 170 ms;采样间隔之间不会丢失任何东西,因为进程的启动和退出以及 TCP 状态变化会通过 eBPF 立即到达。
上限。该服务自带限额,因此 clifrd 不会从机器上真正重要的部分抢走资源:clifrd 还会自我监控:如果 5 分钟内超过单核的 2%,它会降低扫描打开文件的频率;如果超过内存警戒线(--memory-guard),它会停止跟踪拥有数千个打开文件的进程的打开文件,并存储更短的命令行。这些会被记录为 guard 事件,由 clifr info 显示。台式机上 72 小时的数据比上面的数字略高(单核的 0.41%,最多 759 MiB),因为一次故意打开 250 万个文件的攻击测试所致;警戒机制在几分钟内把 clifrd 使用的内存从 686 MiB 降到了 131 MiB。
在繁忙服务器上。台式机是一台安静的机器。在模拟繁忙服务器的基准测试中(每秒 80,000 个 PostgreSQL 事务,数千个 TCP 连接,持续不断的短命进程流):简而言之:在普通台式机或服务器上,clifr 大约占用单核的三分之一不到的 1%、约 100 MiB 内存和每天约 20 MiB 磁盘。在重负载下,它会上升到约单核的 2% 和 300 MiB,而服务的限额会在半个核、768 MiB 和 2 GB 处将它截停。
文档:安装指南(Debian/Ubuntu、RHEL/AlmaLinux/Rocky)· 用户指南(用法、从 AI agent 查询、13 个用例、Prometheus、配置、架构)。本 README 是项目的技术记录:构建、设计、测试、基准测试结果和局限。
clifrd 以 Parquet 文件的形式持续记录:存在过哪些进程、每个进程持有哪些 TCP 连接和打开文件、短命进程何时启动和退出,以及系统级计数器。clifr CLI 随后为过去的某一时刻或时间范围重建 ps aux、top -b、ss -tanp、lsof -n -P、uptime、vmstat、mpstat 和 iostat(还有更多:clifr help),并列出进程生命周期、OOM 击杀和挂载变化。
sar、atop 和 PCP 之类的工具记录指标和进程统计,但不记录进程与其套接字和文件之间随时间变化的关联。clifr 最初是一个概念验证,用证据回答两个问题:真值测试和基准测试是主要的交付成果;参见 Results 和 Limitations。
一个可用的原型:上述两个问题都有证据支持的答案,记录器具备无人值守使用所需的一切(带限额的 systemd unit、CPU 警戒线、保留与大小上限、每小时压缩、崩溃恢复、丢弃与漏事件计数器、与内核转储的对账)。但尚未证明其在生产环境中可行:要称之为可行:一次长于保留时长的浸泡测试,使用真实的混合负载(已完成,第 1 项),以及在真实服务器上的记录,并用 clifr verify 检查。
要从软件包安装,参见安装指南。两个二进制文件,需要 Go 1.25 或更新版本(go.mod 固定 toolchain go1.26.8,较旧的 go 会自动下载): CGO_ENABLED=0 go build -o clifrd ./cmd/clifrd # 记录器:静态,纯 Go go build -o clifr ./cmd/clifr # CLI:DuckDB,需要 cgo 和 g++
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。