返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用 Rust 重写 Awk,可作为 GNU awk 的完整替代品

来源标题:A fast, POSIX/GNU-compatible Awk written in Rust

一款用 Rust 实现的 Awk 发布,定位为系统 awk 的直接替换,并可作为 GNU awk 的完整替代。该项目完整支持 POSIX awk,并实现 gensub、asort、mktime 等常用 GNU 扩展,启动速度快于 gawk,但在数字密集循环上 gawk 仍占优。项目仅依赖 regex 和 chrono 两个库,提供单个静态二进制,Linux、macOS 和 Windows 预编译版本已随 GitHub release 发布。

Hacker News 最新xyzhaku2026/11/11 · 6 天前11 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用 Rust 编写的高性能 awk。它是系统 awk 的直接替代品,目标是作为 GNU awk 的完整替代方案,而不是教学实现。启动速度比 gawk 更快,在文本处理上也有竞争力,不过在数值密集的循环中 gawk 仍然领先;参见基准测试。

完整的 POSIX awk:模式、范围模式、BEGIN/END、各种 getline 变体、重定向、用户函数、动态字段

真实脚本中会用到的 GNU 扩展:gensub、asort、asorti、strtonum、typeof、isarray、compl、and、or、xor、lshift、rshift、ARGIND、ENVIRON、IGNORECASE、nextfile、mktime、strftime

正确的值模型:每个标量都同时携带字符串部分和数值部分,并遵循 POSIX 要求的 strnum 规则,输入字段和 -v 赋值也不例外

支持 Unicode:字段索引、length、substr、match 和 RSTART 都按字符计数,而不是按字节

小巧自包含:只有两个依赖(regex、chrono),无需运行时配置,单个静态二进制文件

安装 每个 GitHub release 都附带 Linux、macOS 和 Windows 的预编译二进制文件。

$ git clone https://github.com/hakuxyz/awk $ cd awk $ cargo build --release $ install -m 755 target/release/awk /usr/local/bin/awk

或者直接安装到你的 cargo bin 目录:

$ cargo install --path .

用法 usage: awk [-F fs] [-v var=value] [-f progfile | 'prog'] [file ...] -F fs 字段分隔符(字符、字符串或正则表达式) -v var=value 在执行前赋值变量 -f progfile 从文件读取程序 --version 打印版本

退出码遵循 gawk:0 表示成功,1 表示语法和用法错误(或脚本调用 exit 1),2 表示运行时错误,例如文件无法读取。

$ echo "hello world" | awk '{print $2}' world $ seq 1 100 | awk '{ s += $1 } END { print s }' 5050 $ printf 'apple,3\nbanana,5\n' | awk -F, '{ t += $2 } END { print t }' 8

功能 POSIX awk 模式、范围模式、BEGIN/END、next、exit、break、continue 字段分割支持默认的空白规则、单个字符、字符串或扩展正则表达式(-F '[0-9]+') 动态字段($100)、NF、NR、FNR、FILENAME、OFS、ORS、SUBSEP、CONVFMT、OFMT、ENVIRON 字符串函数:length、substr、index、split、sub、gsub、match、sprintf、toupper、tolower 数学函数:int、sqrt、log、exp、sin、cos、atan2、rand、srand printf/sprintf 支持 %d %i %o %x %X %f %F %e %E %g %G %a %A %s %c %%,以及字段宽度、精度、标志,还有从参数中取 * 宽度或精度 I/O 重定向 >、>>、|,print 和 getline 都支持 getline 形式:普通形式、var、< file、| cmd,以及 cmd | getline var

GNU 扩展 gensub 支持 \1 到 \9 的分组引用和匹配选择器 asort、asorti 支持可选的目标数组 strtonum 支持 0x 十六进制和以零开头的八进制前缀 typeof 可区分 untyped、unassigned、strnum、number、string 和 array isarray、compl、and、or、xor、lshift、rshift IGNORECASE 用于匹配和字段分割 ARGIND、RT 风格的专用变量在脚本依赖它们的地方已覆盖 mktime 和 strftime 支持本地时间、夏令时处理和 LC_TIME 名称 nextfile 用于跳过当前输入文件的剩余部分 十六进制整数字面量,例如 0x263a

该 crate 还暴露了 lexer、parser、AST、值模型和解释器,便于嵌入使用:

let (funcs, prog) = awk::parser::parse_full(r#"BEGIN { print "hi" }"#).unwrap(); let mut interp = awk::interp::Interp::new(funcs, match prog { awk::ast::Program::Rules(r) => r, }); let code = interp.run(&[]); assert_eq!(code, 0);

提供库 API 是为了让 CLI 引擎可以被复用,而不是作为打磨完善的公共接口。它目前还不稳定:在 crate 处于 0.x 期间,次要版本可能会改动它,所以如果你要嵌入使用,请锁定精确版本。后续版本可能会提供有文档且稳定的 API。

$ cargo test $ cargo clippy --all-targets $ python3 tools/difftest.py

CI 在每次 push 时运行格式检查、Clippy、两层测试以及差分测试框架(.github/workflows/ci.yml)。

tools/bench.sh 在同一台机器上与 gawk 5.4.1 进行对比(每个工作负载一次预热运行,单位毫秒):

诚实的总结:启动和小任务在这里更快,正则字段分割旗鼓相当,但在记录繁重的数值循环中 gawk 的 C 解释器仍然快好几倍。运行 tools/bench.sh 可复现。

for (k in arr) 按排序顺序遍历键。gawk 使用哈希顺序,而哈希顺序是未指定的,所以这里选择排序顺序作为确定性行为 错误消息的措辞不同,只有退出状态一致 compl、and 等函数遵循 gawk 的 53 位掩码规则 部分很少使用的 gawk 内部机制(FUNCTAB、PROCTAB、bindtextdomain)未实现

许可证 MIT

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →