返回资讯中心
外部精选
软件工程
#开发者实时流

VennDB:用 Rust 编写的追加式内存数据库,支持位标志查询行

来源标题:Show HN: VennDB: append-only in-memory Rust DB for rows queried using bit flags

VennDB 是一个用 Rust 开发的追加式内存数据库,专为通过位(标志)列查询行的场景设计。它面向启动时加载、需频繁用简单过滤条件查询的静态大数据集,无依赖且比朴素实现或 Sqlite 等更重方案更快。项目最初为 rama 开发,用于提供内存上游代理数据库。

Hacker News 最新gdcbe2026/11/16 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这是一个用 Rust 编写的追加式(append-only)内存数据库,通过位(标志)列来查询数据行。

这个数据库是为一个非常特定的用例设计的:数据基本是静态的,通常在启动时加载,并且需要不断用非常简单的过滤条件进行查询。这类数据集可能很大,因此既要快又要紧凑。

在 venndb 能够胜任的这些有限场景里,它几乎没有依赖,而且比传统方案更快,比如朴素实现,或者像 Sqlite 这样更重的依赖。关于这个问题的更多信息,可以查看基准测试。

这个项目最初是作为 rama 的一部分开发的,你可以在那里看到它的实际用途,比如用来提供一个内存(上游)代理数据库。

如果你也在自己的项目中使用了它,请告诉我们,这样我们可以整理一份展示列表。

💬 来 Discord 的 #venndb 公开频道加入我们吧。可以提问、讨论想法,也可以咨询 venndb 对你是否有用。

cargo add venndb

然后在你想使用它的模块中导入 derive 宏:

use venndb::{Any, VennDB};

#[derive(Debug, VennDB)] pub struct Employee { #[venndb(key)] id: u32, name: String, is_manager: Option<bool>, is_admin: bool, #[venndb(skip)] foo: bool, #[venndb(filter, any)] department: Department, #[venndb(filter)] country: Option<String>, }

fn main() { let db = EmployeeDB::from_iter(employees()).expect("unique ids");

let mut query = db.query();
let employee = query
    .is_admin(true)
    .is_manager(false)
    .department(Department::Engineering)
    .execute()
    .expect("to have found at least one")
    .any();

println!("non-manager admin engineer: {:?}", employee);

}

查看完整示例、examples 目录(本文档中的代码就取自这些示例),或者下面的“生成代码摘要”章节,了解如何使用 VennDB 及其生成的代码。

这里展示的基准测试是在一台开发机上运行的,配置如下:

Macbook Pro — 16 英寸(2024),操作系统:Tahoe 26.5 芯片:Apple M4 Max,内存:64 GB

基准测试对比了 4 种不同的代理数据库实现,其结构与 rama 中的类似:7 个 bool 属性以及 5 个过滤映射,其中 state、city 和 ASN 分别最多有 1 000、10 000 和 5 000 个不同值。除了前两行之外,每一行都是一次查询:在 db.query() 上设置列出的过滤器,然后用 any() 在匹配的代理中随机选一个。bool 过滤器要求值为 true,过滤映射(pool、country、city)要求一个值,除非额外指定了更多值,并且它们有 1% 的行匹配任意值。数字是中位数时间。

基准测试通过运行 just bench-full | python3 scripts/bench_tables.py 生成。

不过我们并不是数据库或硬件专家。如果你认为这些基准测试有问题,或者可以做出相关改进,请开一个 issue。我们也欢迎以 Pull request 形式的贡献,详情请参阅贡献指南。

venndb 不是一个数据库,但对于某些特定用途来说已经足够接近了。它在长期存活的只读用例中大放异彩,这类场景需要基于大量二元属性进行过滤,并随机获取一个匹配结果。不要试图用它来替代你日常的数据库需求。

❓ 我在哪里可以提出新功能 X 或其他改进建议?

请开一个 issue,并阅读贡献指南。我们期待听到你的声音。或者你也可以加入我们的 Discord,在那里发起对话或讨论。

❓ #[venndb(filter)] 属性可以使用任意类型吗?

可以,只要它实现了 Eq + Hash + Clone。不过,我们建议你尽可能使用枚举值,或其他高度受限的形式。比如直接使用 String 是个坏主意,因为那意味着 bE != Be != BE != Belgium != Belgique != België。尽管这些其实都指向同一个国家。在这种情况下,更好的做法是至少创建一个包装类型,比如 struct Country(String),以便在创建值时强制执行清洗/校验,并确保那些概念上相同的值具有相同的哈希。bool 过滤器(布尔属性)和过滤映射(带 #[venndb(filter)] 属性的非 bool 类型 T)都可以通过用 Option 包装类型来变为可选,即 Option<bool> 和 Option<T>。对于这类可选列,值为 Option::None 的行无法在该属性上进行过滤,但除此之外没有其他影响。

❓ 为什么键必须唯一且非可选?

在 venndb 中,键的用途是能够查找之前通过过滤器获得的行。因此,这样的键如果是以下情况就没有意义:

❓ 如何让某些行匹配某个(过滤)列的任意值?

过滤映射可以允许某个值匹配所有其他值。你需要自行将过滤器声明为这种形式,并为该类型定义那个“一统天下的值”。

use venndb::{Any, VennDB};

#[derive(Debug, PartialEq, Eq, Clone, Hash, Any)] pub enum Department { #[any] Any, Hr, Engineering, }

#[derive(Debug, VennDB)] pub struct Employee { name: String, #[venndb(filter, any)] department: Department, }

let db = EmployeeDB::from_iter([ Employee { name: "Jack".to_owned(), department: Department::Any }, Employee { name: "Derby".to_owned(), department: Department::Hr }, ]);

let mut query = db.query();

// 将匹配 Jack 和 Derby,因为 Jack 被标记为 Any,意味着它可以适用于任意值 let hr_employees: Vec<_> = query.department(Department::Hr).execute().unwrap().iter().collect(); assert_eq!(hr_employees.len(), 2);

对于不是枚举的类型,你可以自己实现 venndb::Any;对于不属于你的类型,你可以改为指向一个函数:#[venndb(filter, any = is_any)]。

❓ 一个属性如何拥有多个值?

将过滤器标记为集合。这样一行就会匹配其中的每个值:

#[derive(Debug, VennDB)] pub struct Employee { name: String, #[venndb(filter, set)]

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →