返回资讯中心
外部精选
软件工程
#开发者实时流

jitpipe:采样25行stdin后用Rust合成正则/Awk过滤器并流式处理剩余数据

来源标题:Jitpipe–Sample 25 stdin rows,synthesize regex/Awk filter,stream the rest in Rust

jitpipe 通过采样约25行 stdin 数据来合成并验证确定性过滤器,再用原生 Rust 流式引擎处理剩余全部数据。项目提供 jitpipe、sgrep、sawk、sjq 四个二进制,支持 macOS、Linux 和 Windows 安装,也可从源码构建。

Hacker News 最新abhinav91312026/11/17 · 昨天10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

基于样本驱动的编译式 Unix 管道工具(sgrep、sawk、sjq):先根据初始的 stdin 行合成一个确定性的过滤器,随后其余数据在原生 Rust 中流式处理。

把大型日志或 JSONL 文件逐行通过 LLM 处理,对于日常 shell 管道来说太慢也太贵;而仅靠嵌入向量的搜索又无法精确判断数值条件,也无法投影结构化字段。

jitpipe 把管道执行拆成两个阶段,分布在四个二进制程序上(jitpipe、sgrep、sawk、sjq):

stdin(数百万行) | +--> [1] 采样(约 25 行 + 前瞻) --> 合成并验证确定性过滤器 | | v v [2] 放行样本 + 剩余数据 ----------------> 原生 Rust 流式引擎 | v stdout(Unix 管道)

安装

安装全部四个预编译二进制程序(jitpipe、sgrep、sawk、sjq):从 GitHub Releases 下载压缩包,或从源码构建:

macOS(Apple Silicon)和 Linux(x86_64)

curl -fsSL https://raw.githubusercontent.com/abhinavm-web/jitpipe/main/install.sh | sh

Windows(PowerShell)

irm https://raw.githubusercontent.com/abhinavm-web/jitpipe/main/install.ps1 | iex

从源码构建:

git clone https://github.com/abhinavm-web/jitpipe.git cd jitpipe cargo run --example showcase cargo install --path .

已安装的二进制程序:

sgrep cat access.log | sgrep "5xx server errors" cat app.log | sgrep -n -m 100 "timeout or connection reset" cat access.log | sgrep --explain "failed auth requests"

sawk cat metrics.log | sawk '{print $1, $NF}' cat latency.csv | sawk -F, '$3 > 500 {print $1, $3}'

sjq cat events.jsonl | sjq '{user_id, latency_ms}' cat events.jsonl | sjq -r '.service where latency_ms >= 250' cat mixed.jsonl | sjq --ignore-malformed '.items[]'

过滤器缓存(--save-filter / --load-filter)

cat sample.log | sgrep --save-filter .jitpipe/errors.json "database deadlock or timeout" cat prod-10gb.log | sgrep --load-filter .jitpipe/errors.json

可选的 LLM 合成环境变量

当没有设置 API key(或传入了 --heuristic)时,jitpipe 使用离线规则合成:

cargo run --release --example benchmark

Workload Rows Throughput Bandwidth Precision Recall

sgrep:10 万行混合访问日志(status=5xx) 100,000 5,350.7k lines/s 346.6 MB/s 100.0% 100.0%

sgrep:后期稀有事件(第 1,250 行的 gateway_timeout) 50,000 15,759.9k lines/s 989.2 MB/s 100.0% 100.0%

sjq:5 万行 JSONL 投影 + 数值条件 50,000 1,548.5k lines/s 79.5 MB/s 100.0% 100.0%

架构

src/ ├── lib.rs # 管道运行器(run_sgrep、run_sawk、run_sjq) ├── main.rs # 统一的 jitpipe 二进制入口 ├── bin/ │ ├── sgrep.rs # 独立的 sgrep 二进制 │ ├── sawk.rs # 独立的 sawk 二进制 │ └── sjq.rs # 独立的 sjq 二进制 ├── cli.rs # 全部 4 个二进制程序的 Clap 参数定义 ├── sampler.rs # N 行流采样器、稀有事件前瞻和放行器 ├── filter/ │ ├── grep.rs # 零拷贝 Cow<'a, str> 正则匹配器 │ ├── awk.rs # 分隔符切分、$1..$NF 模板投影和条件判断 │ └── jq.rs # JSONL 点路径、对象投影、数组展开和条件判断 ├── synth/ │ ├── heuristic.rs # 离线模式、分隔符和 schema 合成器 │ ├── llm.rs # HTTP LLM 合成器,带样本自验证和回退 │ ├── cache.rs # JSON 过滤器序列化(--save-filter / --load-filter) │ └── mock.rs # 用于测试的确定性合成器 └── engine/ ├── streamer.rs # 单缓冲区剩余数据流式引擎 └── pipe.rs # 跨平台 SIGPIPE / Windows 管道断开(109/232)处理

开发

cargo test cargo clippy --all-targets -- -D warnings

另见

Repository Description

agent-fork 工作区检查点、回退、并行 worktree 和 cassette 录制

ctx-firewall 带 KV-cache 前缀固定的主动 LLM 上下文代理和终端分析器

diffmem Git diff-of-diffs 情节记忆守护进程和编辑器规则同步

reddiff 差分回归查找器,只输出可运行的崩溃复现用例

许可证

MIT

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →