返回资讯中心
外部精选
软件工程
#开发者实时流

Native JSON Navigator:为Java提供内存映射JSON查询

来源标题:Native JSON Navigator – memory-mapped JSON queries for Java

Native JSON Navigator 为现代 Java 提供零堆分配、内存映射的 JSON 导航能力,基于 Java 22 定稿的 Foreign Function & Memory API(JEP 454)实现堆外惰性访问。它面向跨多兆字节负载的随机访问与嵌套文档点查询,避免传统解析器将完整文档反序列化为内存对象图带来的堆抖动与 GC 停顿。作者建议超过 2 GiB 的线性流用 Jackson Streaming,POJO/DTO 绑定用 Jackson Databind。

Hacker News 最新redriottank2026/11/10 · 7 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为现代 Java 提供零堆分配、内存映射的 JSON 导航。

快速开始 • 为什么选择 Native JSON? • 基准测试 • 架构 • API 参考 • 许可证

传统 JSON 解析器(Jackson、Gson、Fastjson)会将完整文档反序列化为内存中的对象图(JsonNode、Map、List)。在 GB 级数据集或高吞吐流式环境中,这会导致大量堆内存反复分配与回收、严重的 CPU 缓存污染,以及不可预测的 Stop-The-World(STW)垃圾回收暂停。

Native JSON Navigator 采用堆外、惰性求值的方式,基于 Java 22 正式定稿的 Foreign Function & Memory API(JEP 454)实现:

理想使用场景

何时应改用替代方案

随机访问与点查询:在多兆字节的负载中读取特定字段,无需从第 0 个字节重新解析。

顺序流大于 2 GiB:如果需要线性流式处理无界网络数据流或大于 2 GiB 的文件,请使用 Jackson Streaming(JsonParser)。

嵌套文档中的点导航:以简洁的 DOM 使用体验、零堆开销提取深层嵌套的 token(doc.root().findPath(...))。

POJO / DTO 数据绑定:如果你的主要工作流是将 JSON 自动映射为 record/class 实例,请使用 Jackson Databind(readValue)。

延迟敏感型服务:高频交易、实时分析,以及对 GC 暂停敏感的微服务。

JSON 修改与序列化:写入、更新或生成 JSON 负载。

安装

Native JSON Navigator 需要 Java 22 或更高版本(Foreign Function & Memory API 在标准 Java SE 中已正式定稿;无需 --enable-preview 或 --add-opens 标志)。

<dependency> <groupId>io.github.redriottank</groupId> <artifactId>native-json-navigator</artifactId> <version>1.1.0</version> </dependency>

Gradle(Kotlin DSL)

implementation("io.github.redriottank:native-json-navigator:1.1.0")

Gradle(Groovy DSL)

implementation 'io.github.redriottank:native-json-navigator:1.1.0'

快速开始

确定性生命周期(open)

JsonDocument.open() 使用共享的堆外 arena 映射底层文件,并实现 AutoCloseable。请在 try-with-resources 块中管理它,以便立即释放本地内存和操作系统文件描述符:

import io.github.redriottank.nativejson.JsonDocument; import io.github.redriottank.nativejson.JsonValue; import java.nio.file.Path; public class Application { public static void main(String[] args) throws Exception { Path jsonPath = Path.of("large_telemetry.json"); try (JsonDocument doc = JsonDocument.open(jsonPath)) { // 1. 点导航:混合使用对象键和数组索引,无需创建中间对象 JsonValue user = doc.root().findPath("data", "users", "0"); if (user != null && user.isObject()) { String name = user.get("name").asString(); int age = user.get("age").asInt(); // 直接提取原始类型,零装箱 System.out.printf("User: %s (Age: %d)%n", name, age); // 2. 安全的数组遍历 JsonValue tags = doc.find("tags"); // doc.root().get("tags") 的简写 if (tags != null && tags.isArray()) { for (int i = 0; i < tags.size(); i++) { JsonValue tag = tags.getAt(i); System.out.println("Tag: " + tag.asString()); // 3. 空值安全检查和原始 JSON 片段 JsonValue metadata = doc.root().get("metadata"); if (metadata != null && !metadata.isNull()) { System.out.println("Raw slice: " + metadata.raw()); } // 退出 try-with-resources 时,堆外映射会被干净地解除映射

面向并行读取器的不可变视图(openImmutable)

当在工作线程池或长时间运行的查询服务之间共享文档时,请使用 openImmutable():

// 通过 Arena.ofAuto() 映射;由垃圾回收器管理 JsonDocument sharedDoc = JsonDocument.openImmutable(Path.of("dataset.json")); // 并发读取线程可无锁查询,不存在关闭风险 executor.submit(() -> sharedDoc.root().findPath("users", "0", "name").asString());

基准测试

微基准测试使用 JMH(Java Microbenchmark Harness 1.37)配合 -prof gc 分析器进行,将 Native JSON Navigator 与 Jackson 2.17.0 的 Tree Model(readTree)和 Streaming API(JsonParser)进行对比。

原始 JMH JSON 输出报告已检入本仓库:

在预加载文档中导航到标量字段,不构建中间对象图:

数据集

文件大小

Jackson Tree(readTree)

Jackson Streaming(JsonParser)

Native JSON Navigator

相对 Tree 的加速比

相对 Streaming 的加速比

project.json(小)

~150 B

0.0007 ms

0.0003 ms

0.0004 ms

~1.8x

~持平

medium_dataset.json

~10 MB

40.092 ms

29.166 ms

22.994 ms

~1.7x

~1.3x

large_dataset.json

~100 MB

733.810 ms

392.342 ms

242.869 ms

~3.0x

~1.6x

每次操作的堆分配与 GC 时间(越低越好)

数据集

Jackson Tree 分配

Jackson Streaming 分配

Native 堆分配

相对 Tree 的堆减少

相对 Streaming 的堆减少

Jackson Tree GC

Native GC

project.json

1,688 B

632 B

104 B

-93.8%

-83.5%

30 ms

23 ms

medium_dataset.json

~56.5 MB

1,008 B

294 B

-99.999%

-70.8%

56 ms

9 ms

large_dataset.json

~566.6 MB

3,415 B

1,700 B

-99.999%

-50.2%

1,664 ms

9 ms

  1. 端到端文件摄取(从磁盘)

从存储/操作系统缓存打开文件并提取目标字段:

数据集

文件大小

Jackson Tree(readTree)

Jackson Streaming(createParser)

Native JSON Navigator

相对 Tree 的加速比

相对 Streaming 的加速比

project.json(小)

~150 B

0.0070 ms

0.0083 ms

0.0486 ms(mmap 开销)

—

—

medium_dataset.json

~10 MB

37.731 ms

29.184 ms

23.126 ms

~1.6x

~1.3x

large_dataset.json

~100 MB

722.768 ms

289.773 ms

225.141 ms

~3.2x

~1.3x

每次操作的堆分配与 GC 时间(越低越好)

数据集

Jackson Tree 分配

Jackson Streaming 分配

Native 堆分配

相对 Tree 的堆减少

相对 Streaming 的堆减少

Jackson Tree GC

Native GC

project.json

2,008 B

952 B

1,261 B

-37.2%

+32.5%(mmap 句柄)

19 ms

9 ms

medium_dataset.json

~56.5 MB

1,396 B

1,540 B

-99.999%

~持平

47 ms

20 ms

large_dataset.json

~566.6 MB

3,150 B

2,765 B

-99.999%

-12.2%

1,513 ms

11 ms

基准测试要点:

克隆仓库并运行 JMH 基准测试框架:

编译测试类和基准测试框架

./mvnw -q test-compile

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →