
jitpipe:采样25行stdin后用Rust合成正则/Awk过滤器并流式处理剩余数据
来源标题:Jitpipe–Sample 25 stdin rows,synthesize regex/Awk filter,stream the rest in Rust
jitpipe 通过采样约25行 stdin 数据来合成并验证确定性过滤器,再用原生 Rust 流式引擎处理剩余全部数据。项目提供 jitpipe、sgrep、sawk、sjq 四个二进制,支持 macOS、Linux 和 Windows 安装,也可从源码构建。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
基于样本驱动的编译式 Unix 管道工具(sgrep、sawk、sjq):先根据初始的 stdin 行合成一个确定性的过滤器,随后其余数据在原生 Rust 中流式处理。
把大型日志或 JSONL 文件逐行通过 LLM 处理,对于日常 shell 管道来说太慢也太贵;而仅靠嵌入向量的搜索又无法精确判断数值条件,也无法投影结构化字段。
jitpipe 把管道执行拆成两个阶段,分布在四个二进制程序上(jitpipe、sgrep、sawk、sjq):
stdin(数百万行) | +--> [1] 采样(约 25 行 + 前瞻) --> 合成并验证确定性过滤器 | | v v [2] 放行样本 + 剩余数据 ----------------> 原生 Rust 流式引擎 | v stdout(Unix 管道)
安装
安装全部四个预编译二进制程序(jitpipe、sgrep、sawk、sjq):从 GitHub Releases 下载压缩包,或从源码构建:
macOS(Apple Silicon)和 Linux(x86_64)
curl -fsSL https://raw.githubusercontent.com/abhinavm-web/jitpipe/main/install.sh | sh
Windows(PowerShell)
irm https://raw.githubusercontent.com/abhinavm-web/jitpipe/main/install.ps1 | iex
从源码构建:
git clone https://github.com/abhinavm-web/jitpipe.git cd jitpipe cargo run --example showcase cargo install --path .
已安装的二进制程序:
sgrep cat access.log | sgrep "5xx server errors" cat app.log | sgrep -n -m 100 "timeout or connection reset" cat access.log | sgrep --explain "failed auth requests"
sawk cat metrics.log | sawk '{print $1, $NF}' cat latency.csv | sawk -F, '$3 > 500 {print $1, $3}'
sjq cat events.jsonl | sjq '{user_id, latency_ms}' cat events.jsonl | sjq -r '.service where latency_ms >= 250' cat mixed.jsonl | sjq --ignore-malformed '.items[]'
过滤器缓存(--save-filter / --load-filter)
cat sample.log | sgrep --save-filter .jitpipe/errors.json "database deadlock or timeout" cat prod-10gb.log | sgrep --load-filter .jitpipe/errors.json
可选的 LLM 合成环境变量
当没有设置 API key(或传入了 --heuristic)时,jitpipe 使用离线规则合成:
cargo run --release --example benchmark
Workload Rows Throughput Bandwidth Precision Recall
sgrep:10 万行混合访问日志(status=5xx) 100,000 5,350.7k lines/s 346.6 MB/s 100.0% 100.0%
sgrep:后期稀有事件(第 1,250 行的 gateway_timeout) 50,000 15,759.9k lines/s 989.2 MB/s 100.0% 100.0%
sjq:5 万行 JSONL 投影 + 数值条件 50,000 1,548.5k lines/s 79.5 MB/s 100.0% 100.0%
架构
src/
├── lib.rs # 管道运行器(run_sgrep、run_sawk、run_sjq)
├── main.rs # 统一的 jitpipe 二进制入口
├── bin/
│ ├── sgrep.rs # 独立的 sgrep 二进制
│ ├── sawk.rs # 独立的 sawk 二进制
│ └── sjq.rs # 独立的 sjq 二进制
├── cli.rs # 全部 4 个二进制程序的 Clap 参数定义
├── sampler.rs # N 行流采样器、稀有事件前瞻和放行器
├── filter/
│ ├── grep.rs # 零拷贝 Cow<'a, str> 正则匹配器
│ ├── awk.rs # 分隔符切分、$1..$NF 模板投影和条件判断
│ └── jq.rs # JSONL 点路径、对象投影、数组展开和条件判断
├── synth/
│ ├── heuristic.rs # 离线模式、分隔符和 schema 合成器
│ ├── llm.rs # HTTP LLM 合成器,带样本自验证和回退
│ ├── cache.rs # JSON 过滤器序列化(--save-filter / --load-filter)
│ └── mock.rs # 用于测试的确定性合成器
└── engine/
├── streamer.rs # 单缓冲区剩余数据流式引擎
└── pipe.rs # 跨平台 SIGPIPE / Windows 管道断开(109/232)处理
开发
cargo test cargo clippy --all-targets -- -D warnings
另见
Repository Description
agent-fork 工作区检查点、回退、并行 worktree 和 cassette 录制
ctx-firewall 带 KV-cache 前缀固定的主动 LLM 上下文代理和终端分析器
diffmem Git diff-of-diffs 情节记忆守护进程和编辑器规则同步
reddiff 差分回归查找器,只输出可运行的崩溃复现用例
许可证
MIT
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。