返回资讯中心
外部精选
软件工程
#开发者实时流

IronWAL 发布:面向记账系统的高耐久确定性预写日志库

来源标题:IronWAL: High performance, high durability, deterministic WAL

IronWAL 是一个高耐久、确定性的 Write-Ahead Log 库,面向金融账本、游戏状态同步和事件存储等记录型系统,优先保证数据完整性与精确复制控制而非原始吞吐。该库以 Rust crate 形式发布,版本 0.6,默认启用 LZ4 压缩。核心类型 Wal 支持向命名流追加二进制条目,并按 ID 随机读取或顺序遍历。

Hacker News 最新excsn2026/11/22 · 今天13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

IronWal 是一个高持久性、确定性的预写日志(WAL),专为记录型系统设计,例如金融账本、游戏状态同步和事件存储。它优先考虑数据完整性、精确的复制控制以及可预测的资源使用,而非单纯追求不安全的吞吐量,为构建崩溃安全的应用提供了坚实的基础。 将 ironwal 添加到你的 Cargo.toml 依赖中: [dependencies] ironwal = "0.6" 默认特性中已包含 LZ4 压缩支持。如需显式声明: [dependencies] ironwal = { version = "0.6", features = ["compression"] } 快速开始 核心类型是 Wal:你向命名流中追加二进制条目,并通过 ID 或迭代方式读回它们。 use ironwal::{Wal, WalOptions}; fn main() -> ironwal::Result<()> { // 所有数据都存放在此目录下,每个流对应一个子目录。 let wal = Wal::new(WalOptions::new("./my_wal_data"))?; // 追加一个条目;它会被分配一个单调递增的 ID。 let id = wal.append("orders", b"order_created")?; // 按 ID 随机访问…… let entry = wal.get("orders", id)?; // ……或从任意起始 ID 开始顺序扫描。 for entry in wal.iter("orders", 0)? { let data = entry?; // 处理数据…… Ok(()) 原子批量写入(append_batch、TxnWriter)和磁盘回收(truncate、delete_stream)在《使用指南》中介绍。 Stream(流)—— 一个独立的、仅追加的记录序列,通过名称寻址。每个流在磁盘上映射到自己的目录。 Entry(条目)—— 一条二进制记录。流中的每个条目都会获得一个单调递增的 64 位序列 ID。 Segment(段)—— 流以段文件的形式存储,并根据可配置的大小/数量阈值自动轮转。截断操作通过删除低于安全 ID 的整个段来回收磁盘空间。 核心特性 确定性存储 流名称显式映射到磁盘上的物理目录。这种确定性结构简化了外部备份、复制策略以及对日志文件的人工审计。 写入磁盘的每一帧都由 CRC32 校验和保护,以检测位衰减和磁盘损坏。该库包含一套严谨的恢复系统,能够处理部分写入、断电和索引损坏,而不会丢失数据。 为了平衡存储效率与延迟,IronWal 采用混合压缩策略。帧可以以原始二进制形式存储,也可以使用 LZ4 格式压缩,具体方式根据可配置的大小阈值自动决定。 Wal 可以低成本地克隆,并且是线程安全的。锁是按流粒度的,因此向一个流追加数据永远不会阻塞其他流的写入者——吞吐量随正在写入的独立流数量而扩展。 打开的文件描述符保存在有界的 LRU 缓存中,读写均如此。这可以防止应用程序耗尽系统文件句柄限制,即使管理数千个活跃流时也是如此。 开发者可以在三种同步模式之间选择:Strict(每次写入都执行 fsync)、BatchOnly(仅在批次/事务时执行 fsync)和 Async(依赖操作系统页面缓存),从而在延迟与安全性之间进行精确权衡。 以上所有内容都是核心的、始终可用的 API。对于超出单个流所能承受的写入量,可选的 ShardedWal 构建在 Wal 之上:它通过对你提供的键进行哈希,将写入分散到固定数量的内部流(shard_00、shard_01、……)上。该键仅用于路由写入——它不会被存储——每个条目通过 (shard_id, seq_id) 寻址。在此分区之上,ShardedWal 增加了检查点——每个分片持久化偏移量的一致性切面,并打上你选择的 ID 标签(Raft 索引、事务 ID、ULID 等)——以及清理早于某个检查点的段。 请注意,这与上述的按流并发是不同的机制:核心 Wal 已经允许独立流并行推进。只有当单个逻辑流的吞吐量成为瓶颈时,才需要使用 ShardedWal。作为交换,你放弃了按 key 的 get 操作(读取是按分片迭代)、跨分片批次的原子性,以及在不进行迁移的情况下更改分片数量的能力。 [dependencies] ironwal = { version = "0.6", features = ["sharded"] } use ironwal::sharded::ShardedWal; use ironwal::WalOptions; // 16 个分片,创建时固定。 let wal = ShardedWal::new(WalOptions::new("./data"), 16)?; // 键决定分片;它不会与条目一起存储。 let (shard_id, seq_id) = wal.append(b"user_123", b"profile_data")?; // 在你选择的 ID 下记录每个分片的持久化偏移量。 wal.create_checkpoint(b"raft_index_5000")?; // 回收该检查点之前所有段的磁盘空间。 wal.prune_before_checkpoint(b"raft_index_5000")?; 从检查点恢复、批量写入、BatchOnly/Async 下的持久性注意事项以及分片数量规划在《使用指南》中介绍。 Hi Stakes Markets Game - 全球最先进的金融模拟器,可在 iPhone 和 Android 上使用。 有关配置、API 使用和架构概念的详细指南,请参阅《使用指南》。 你还可以在 docs.rs 上查看完整的 API 参考文档。 本库依据 Mozilla Public License 2.0(MPL-2.0)的条款分发。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →