返回资讯中心
外部精选
软件工程
#开发者实时流

Wild select:用C++方法直观查询JSON和XML等层级数据

来源标题:Wild select: intuitive queries for JSON, XML, and other hierarchical data

Wild select是一种用C++实现的概念,可对JSON、XML等层级化半结构化UTF-8内容执行类似SQL SELECT的查询。其查询基于含*和?通配符的搜索模式,外层模式用于遍历层级,到达指定深度后改用内层模式匹配元素值。存在多个匹配时,方法会返回每个匹配的向量化结果。

Hacker News 最新kirk_krauss2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这里介绍一个概念,用于查询按层级组织、采用UTF-8编码的半结构化内容。该概念以C++方法实现,可适用于JSON、XML等多种数据格式。本文给出若干用法示例,包括示意图、对应代码以及代码输出的截图。

该查询的行为本质上类似带有基本FROM、JOIN、WHERE和ORDER BY子句的SQL SELECT语句。但与SQL查询不同,该方法的查询基于一个搜索模式,其中包含一个或多个''通配符。模式中也可以包含'?'通配符。该方法把搜索模式的外层部分用于层级遍历,通常沿着特定的嵌套标签序列进行。在调用例程指定的深度处,方法停止遍历层级,并把搜索模式剩余的内层部分用于匹配指定元素,这些元素可以是与标签关联的值。当内层搜索模式上存在多个整体匹配时,方法会为每个匹配返回向量化结果,包括内层搜索模式中每个''通配符上的匹配。由于整个查询由可理解的通配符语法驱动,外加仅一个用于设定嵌套深度的整数值,该方法以易用性见长。它在性能上也表现突出,尤其是涉及国际化内容的大小写不敏感查询。

一个多用途的搜索模式 “用于设定嵌套深度的整数值”是什么意思?简单来说,该概念是自外向内遍历搜索模式,同时在层级本身上执行以通配符分隔的查找,从而嵌套进入该层级。这些针对搜索模式外层部分的查找通常是查找标签,而非查找值。一旦到达指定层级——即标签开始直接关联到内容中待查找值的层级——就可以根据内层通配符的数量直接引用这些值,其匹配结果会被放入一个向量,该向量进入结果集。

更准确地说,该概念包含以下步骤: 层级遍历,根据搜索模式外层''通配符所分隔短语的匹配情况,在深度优先方向上交替向指定嵌套层级深入或退回更高层级:搜索模式每一端此类通配符的数量,等于层级中位于与待查找值关联的节点之上的层数; 每次下降到指定层级时,判断搜索模式剩余(内部)部分是否匹配该层级实例处的内容; 当发现搜索模式的内部部分匹配时,创建一个MatchVector,记录该部分模式中每个''通配符在层级内容中每次匹配的起始和结束位置; 将该MatchVector加入结果集;以及 当遍历在内容中到达以下任一情况后,返回结果集:整个搜索模式出现整体匹配、遇到终止空值,或到达被指定为终点的位置。

该概念体现在FastUtf8::Uniseries C++类的::pSelectWild()(大小写敏感)和::casepSelectWild()(大小写不敏感)方法中,用于执行通配符驱动的查询。这两个方法都足够通用,使C++代码能够在JSON、XML、YAML或其他层级内容中为选定标签查找特定值。你的代码可以在这些(或其他)半结构化数据格式之间切换,而几乎或完全不需要改动C++代码。要把针对XML数据集的查询改为针对JSON数据集,可能只需完成切换已加载数据集本身所需的改动,然后更新一行可理解的通配符语法,且只需一次调用任一方法即可传入。

关于性能,与XPath、std::regex之类做比较并不恰当。::casepSelectWild()方法建立在完全相同的算法之上——编码上仅有极小改动——该算法使用贪婪大小写折叠,运行速度比Google生成的、专门通过std::string方法从书目参考文献中提取大小写不敏感数据的代码快数倍。::pSelectWild()方法构建方式相同,但跳过了大小写折叠。该算法的实现会在直接的深度优先搜索中调用,执行每个查询的所有核心阶段,其整体效率或许(几乎)足以让“高性能半结构化数据处理”不再是一个矛盾修辞。

该方法的设计借鉴了多个FastUtf8::Uniseries搜索方法:一个用于在更大切片中查找特定切片,该更大切片可以是UTF-8编码文档、流、映射视图的全部或部分,也可以是大于物理内存的内容中的切片;一个用于在更大切片中查找与包含通配符的搜索模式匹配的切片;还有一个不仅查找通配符匹配,还会为每个匹配创建记录起止位置的MatchVector。::[case]pSelectWild()返回的结果集是由这些MatchVector组成的std::set,并按选定的匹配排序。该匹配可以视为搜索模式内部部分中'*'通配符之间的序数,或每个MatchVector中所有匹配之间的序数——两者是同一个序数。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →