
Native JSON Navigator:为Java提供内存映射JSON查询
来源标题:Native JSON Navigator – memory-mapped JSON queries for Java
Native JSON Navigator 为现代 Java 提供零堆分配、内存映射的 JSON 导航能力,基于 Java 22 定稿的 Foreign Function & Memory API(JEP 454)实现堆外惰性访问。它面向跨多兆字节负载的随机访问与嵌套文档点查询,避免传统解析器将完整文档反序列化为内存对象图带来的堆抖动与 GC 停顿。作者建议超过 2 GiB 的线性流用 Jackson Streaming,POJO/DTO 绑定用 Jackson Databind。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为现代 Java 提供零堆分配、内存映射的 JSON 导航。
快速开始 • 为什么选择 Native JSON? • 基准测试 • 架构 • API 参考 • 许可证
传统 JSON 解析器(Jackson、Gson、Fastjson)会将完整文档反序列化为内存中的对象图(JsonNode、Map、List)。在 GB 级数据集或高吞吐流式环境中,这会导致大量堆内存反复分配与回收、严重的 CPU 缓存污染,以及不可预测的 Stop-The-World(STW)垃圾回收暂停。
Native JSON Navigator 采用堆外、惰性求值的方式,基于 Java 22 正式定稿的 Foreign Function & Memory API(JEP 454)实现:
理想使用场景
何时应改用替代方案
随机访问与点查询:在多兆字节的负载中读取特定字段,无需从第 0 个字节重新解析。
顺序流大于 2 GiB:如果需要线性流式处理无界网络数据流或大于 2 GiB 的文件,请使用 Jackson Streaming(JsonParser)。
嵌套文档中的点导航:以简洁的 DOM 使用体验、零堆开销提取深层嵌套的 token(doc.root().findPath(...))。
POJO / DTO 数据绑定:如果你的主要工作流是将 JSON 自动映射为 record/class 实例,请使用 Jackson Databind(readValue)。
延迟敏感型服务:高频交易、实时分析,以及对 GC 暂停敏感的微服务。
JSON 修改与序列化:写入、更新或生成 JSON 负载。
安装
Native JSON Navigator 需要 Java 22 或更高版本(Foreign Function & Memory API 在标准 Java SE 中已正式定稿;无需 --enable-preview 或 --add-opens 标志)。
<dependency> <groupId>io.github.redriottank</groupId> <artifactId>native-json-navigator</artifactId> <version>1.1.0</version> </dependency>Gradle(Kotlin DSL)
implementation("io.github.redriottank:native-json-navigator:1.1.0")
Gradle(Groovy DSL)
implementation 'io.github.redriottank:native-json-navigator:1.1.0'
快速开始
确定性生命周期(open)
JsonDocument.open() 使用共享的堆外 arena 映射底层文件,并实现 AutoCloseable。请在 try-with-resources 块中管理它,以便立即释放本地内存和操作系统文件描述符:
import io.github.redriottank.nativejson.JsonDocument; import io.github.redriottank.nativejson.JsonValue; import java.nio.file.Path; public class Application { public static void main(String[] args) throws Exception { Path jsonPath = Path.of("large_telemetry.json"); try (JsonDocument doc = JsonDocument.open(jsonPath)) { // 1. 点导航:混合使用对象键和数组索引,无需创建中间对象 JsonValue user = doc.root().findPath("data", "users", "0"); if (user != null && user.isObject()) { String name = user.get("name").asString(); int age = user.get("age").asInt(); // 直接提取原始类型,零装箱 System.out.printf("User: %s (Age: %d)%n", name, age); // 2. 安全的数组遍历 JsonValue tags = doc.find("tags"); // doc.root().get("tags") 的简写 if (tags != null && tags.isArray()) { for (int i = 0; i < tags.size(); i++) { JsonValue tag = tags.getAt(i); System.out.println("Tag: " + tag.asString()); // 3. 空值安全检查和原始 JSON 片段 JsonValue metadata = doc.root().get("metadata"); if (metadata != null && !metadata.isNull()) { System.out.println("Raw slice: " + metadata.raw()); } // 退出 try-with-resources 时,堆外映射会被干净地解除映射
面向并行读取器的不可变视图(openImmutable)
当在工作线程池或长时间运行的查询服务之间共享文档时,请使用 openImmutable():
// 通过 Arena.ofAuto() 映射;由垃圾回收器管理 JsonDocument sharedDoc = JsonDocument.openImmutable(Path.of("dataset.json")); // 并发读取线程可无锁查询,不存在关闭风险 executor.submit(() -> sharedDoc.root().findPath("users", "0", "name").asString());
基准测试
微基准测试使用 JMH(Java Microbenchmark Harness 1.37)配合 -prof gc 分析器进行,将 Native JSON Navigator 与 Jackson 2.17.0 的 Tree Model(readTree)和 Streaming API(JsonParser)进行对比。
原始 JMH JSON 输出报告已检入本仓库:
在预加载文档中导航到标量字段,不构建中间对象图:
数据集
文件大小
Jackson Tree(readTree)
Jackson Streaming(JsonParser)
Native JSON Navigator
相对 Tree 的加速比
相对 Streaming 的加速比
project.json(小)
~150 B
0.0007 ms
0.0003 ms
0.0004 ms
~1.8x
~持平
medium_dataset.json
~10 MB
40.092 ms
29.166 ms
22.994 ms
~1.7x
~1.3x
large_dataset.json
~100 MB
733.810 ms
392.342 ms
242.869 ms
~3.0x
~1.6x
每次操作的堆分配与 GC 时间(越低越好)
数据集
Jackson Tree 分配
Jackson Streaming 分配
Native 堆分配
相对 Tree 的堆减少
相对 Streaming 的堆减少
Jackson Tree GC
Native GC
project.json
1,688 B
632 B
104 B
-93.8%
-83.5%
30 ms
23 ms
medium_dataset.json
~56.5 MB
1,008 B
294 B
-99.999%
-70.8%
56 ms
9 ms
large_dataset.json
~566.6 MB
3,415 B
1,700 B
-99.999%
-50.2%
1,664 ms
9 ms
- 端到端文件摄取(从磁盘)
从存储/操作系统缓存打开文件并提取目标字段:
数据集
文件大小
Jackson Tree(readTree)
Jackson Streaming(createParser)
Native JSON Navigator
相对 Tree 的加速比
相对 Streaming 的加速比
project.json(小)
~150 B
0.0070 ms
0.0083 ms
0.0486 ms(mmap 开销)
—
—
medium_dataset.json
~10 MB
37.731 ms
29.184 ms
23.126 ms
~1.6x
~1.3x
large_dataset.json
~100 MB
722.768 ms
289.773 ms
225.141 ms
~3.2x
~1.3x
每次操作的堆分配与 GC 时间(越低越好)
数据集
Jackson Tree 分配
Jackson Streaming 分配
Native 堆分配
相对 Tree 的堆减少
相对 Streaming 的堆减少
Jackson Tree GC
Native GC
project.json
2,008 B
952 B
1,261 B
-37.2%
+32.5%(mmap 句柄)
19 ms
9 ms
medium_dataset.json
~56.5 MB
1,396 B
1,540 B
-99.999%
~持平
47 ms
20 ms
large_dataset.json
~566.6 MB
3,150 B
2,765 B
-99.999%
-12.2%
1,513 ms
11 ms
基准测试要点:
克隆仓库并运行 JMH 基准测试框架:
编译测试类和基准测试框架
./mvnw -q test-compile
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。