
S3rg:用 Rust 编写的对象存储 grep 工具
来源标题:S3rg: Grep for object storage, written in Rust
S3rg 是一款用 Rust 编写的对象存储搜索工具,可直接对 s3://、gs://、az:// 前缀或本地路径执行 grep 式搜索。它复用 ripgrep 引擎,支持相同选项、输出与退出码,对象边下载边搜索且不写磁盘。该项目目前为纯文本状态。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用于对象存储的 grep。把它指向 s3://、gs:// 或 az:// 前缀(或本地路径),然后像使用 grep 一样使用它:相同的选项、相同的输出、相同的退出码。匹配由 ripgrep 的引擎完成,以库的形式链接进来。
前缀下每一行 ERROR,带对象名和行号
s3rg -n ERROR s3://my-logs/app/2026/11/
每个对象有多少次 timeout,仅 .log 对象
s3rg -c timeout s3://my-logs/app/ -g '*.log'
哪些对象提到了某个 trace id
s3rg -l 4bf92f3577b34da6 s3://my-logs/app/2026/11/13/
两行上下文,结果按路径排序
s3rg -C 2 --sort path 'OOM|out of memory' s3://my-logs/app/
本地文件也可以
s3rg -r -i 'connection (reset|refused)' ./logs
对象在下载时即被流式读取并搜索;搜索不会向磁盘写入任何内容。它会读取覆盖到的每一个对象,除非该前缀有索引能排除其中一些对象。
想要托管版本,或者需要在搜索之上做过滤或实时写入?看看 Zilliz Cloud。
状态 安装 用法 路径与 glob 压缩对象 索引 凭据与端点 并发、内存与失败 分布式模式 与 grep 的差异 开发
状态 纯文本对象、本地文件 可用 S3 及兼容 S3 的存储(MinIO 等) 可用;已针对 MinIO 测试 GCS(gs://)、Azure(az://、abfs://) 已实现;尚未对真实服务运行过 单进程内同时搜索多个对象 可用 多台机器上的 worker(--workers) 对整对象可用,支持或不支持 TLS;已在一台机器上用 worker 进程针对 MinIO 测试 gzip 和 zstd 对象(.gz、.gzip、.zst、.zstd) 可用:在流式传输时解压,单进程和 worker 上均可 其他压缩对象(.bz2、.xz、.lz4、.lzma、.Z、.zip、.br) 不解码;报告为错误且不搜索 对象存储前缀的索引(--index-build),供搜索跳过不可能匹配的对象 可用:构建时只读取新增或变更的内容,搜索时只读取它需要的索引部分;已针对 MinIO 测试 用 --workers 构建索引、本地目录的索引 计划中 将一个大对象拆分到多个线程或 worker 计划中 用于 csv、json、parquet、lance 的 --field 计划中 milvus-storage 作为存储后端 计划中
已在 macOS(Apple Silicon)上构建并测试。Linux 尚未构建。
cargo install --git https://github.com/xiaofan-luan/s3rg s3rg-cli # 将 s3rg 安装到 ~/.cargo/bin
或从检出目录安装:
git clone https://github.com/xiaofan-luan/s3rg && cd s3rg
cargo install --path crates/s3rg-cli
或不安装直接构建:cargo build --release,二进制在 target/release/s3rg。需要较新的稳定版 Rust(开发时使用 1.94)。
skills/s3rg/SKILL.md 教导编码 agent(Claude Code、Codex 等)何时以及如何使用 s3rg。将其链接到 agent 的 skills 目录: ln -s "$PWD/skills/s3rg" ~/.claude/skills/s3rg # Claude Code ln -s "$PWD/skills/s3rg" ~/.agents/skills/s3rg # Codex 及其他
用法 s3rg [OPTIONS] PATTERN PATH... s3rg [OPTIONS] -e PATTERN... PATH... s3rg --index-build [--index URL] PATH... # 见索引 s3rg --index-rebuild [--index URL] PATH... s3rg --index-delete [--index URL] PATH...
PATTERN 是 ripgrep 语法中的正则表达式,接近 grep -E。PATH 是本地路径或对象存储 URL;可以给任意多个并自由混用。
选项 -e PATTERN 模式;重复指定多个(匹配其中任一的行即被选中) -i 忽略大小写 -S 智能大小写:除非模式包含大写字母,否则忽略大小写 -w 仅匹配整词 -F 模式是字面字符串,而非正则 -v 选择不匹配的行 -m NUM 每个对象在 NUM 个匹配行后停止
输出 选项 -n 行号 -H / -h 总是 / 从不打印对象名(默认:当可能搜索多个对象时打印) -o 仅打印每行匹配的部分 -c 仅打印每个对象匹配的行数 -l 仅打印匹配的对象名 -q 不打印任何内容;退出码表示是否有匹配 -A NUM、-B NUM、-C NUM 每个匹配之后、之前或前后的上下文行 --color[=WHEN] auto(默认)、always、never --sort path 按路径顺序打印结果,而非按对象完成顺序
一行输出为 name:line,或带 -n 时为 name:number:line;上下文行使用 - 而非 :,组之间用 -- 分隔,与 grep 完全一致。
选项 -r 递归进入本地目录(对象存储前缀总是递归搜索) -R 同 -r,并跟随符号链接 -g GLOB 仅搜索匹配 GLOB 的所列对象;!GLOB 排除;可重复 --no-decompress 按存储的字节搜索每个对象,类似 grep;见压缩对象 --index URL 使用 URL/.s3rg/ 中保存的索引,而非在 PATH 附近查找;见索引 --no-index 搜索每个对象,无论是否有索引 --index-stats 在标准错误输出:列出的对象、被索引跳过的、搜索的、未被索引覆盖的;以及读取索引的耗时 -j NUM 同时搜索的对象数(默认:CPU 数量,最多 512)
-E 被接受且不改变任何行为。其他 grep 选项会被拒绝并报错,而非被忽略。s3rg --help 列出全部内容。
0 至少有一行匹配 1 没有匹配 2 发生错误(即使有匹配),但 -q 在找到匹配时立即以 0 退出
错误以 s3rg: <path>: <reason> 的形式输出到标准错误。一个对象失败不会阻止其他对象。
s3://bucket/prefix、gs://bucket/prefix、az://container/prefix:前缀下的每个对象。s3://bucket 搜索整个 bucket。
前缀匹配完整路径段。s3://b/logs/app 覆盖 logs/app/x.log 但不覆盖 logs/app-1.log;对此请使用 s3://b/logs -g 'app-*'。
恰好指定一个对象的 URL 搜索该对象。
本地文件和目录的行为与 GNU grep 相同。-r 在遍历时跳过遇到的符号链接,-R 跟随它们,命令行上指定的链接总是被跟随。FIFO、socket 和设备在遍历时跳过,在指定时读取。无法读取的条目会被报告
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。