返回资讯中心
外部精选
大数据
#数据科学#机器学习

AWS Labs 发布开源工具包 graphrag-toolkit,构建图增强 RAG 应用

来源标题:Building Graph-Enhanced GenAI Applications with graphrag-toolkit

AWS Labs 开源 graphrag-toolkit,用于构建图增强检索生成(GraphRAG)应用,弥补普通向量检索无法关联分散事实的缺陷。该工具包结合 Neo4j 与 pgvector,可搭建多跳研究助手。文章介绍了其原理并给出完整可运行的实现代码。

KDnuggetsShittu Olumide2026/11/12 · 5 天前15 分钟阅读

以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

普通的检索增强生成(RAG)聊天机器人处理“退货政策写了什么”毫无压力:找到对应的文本块,交给模型,完事。但如果你问它“退货政策和国际订单的保修条款之间如何相互影响”,它就开始犯迷糊了。答案并不存在于任何单个文本块中。它需要把文档中两个彼此相距甚远的部分联系起来,而向量搜索只衡量每个文本块与问题的语义相似度,本身无法建立这种关联。

这个具体的缺口——系统能找到相关文本,却无法追踪这些文本片段之间的关系——正是图增强检索要弥合的问题。本文会讲清楚这意味着什么,介绍 AWS Labs 开源的 graphrag-toolkit,然后从零构建一个真正可运行的图增强研究助手,每一段代码都直接对照工具包自身的文档核验过,而非凭记忆想当然。

图增强 RAG,通常简称为 GraphRAG,是用知识图谱而非普通向量索引来做检索,这样应用就能沿着信息之间的真实关系去追踪,而不只是找与问题听起来相似的文本。Neo4j 自己的科普文章把这描述为:把知识图谱的检索优势——显式的实体及实体之间的关系——与大语言模型(LLM)的生成流畅性结合起来,让模型在相互关联的事实上推理,而不是在孤立的文本碎片上推理。

这不是某一家厂商的营销话术。Oracle 关于同一思路的文章从数据库行业完全不同的角度得出了基本一致的结论:标准 RAG 把每个文本块当作一座孤岛,而图谱能捕捉这些孤岛实际如何连接、哪些实体出现在多个位置、概念如何在整个文档集合范围内相互关联,而不是一次只看一段。两家主要数据库公司各自独立地得出同一个核心论点,这是一个合理的信号:底层问题是真实存在的,而不是为了卖图数据库而编出来的说法。

这里值得把机制说清楚,而不是只笼统地说“向量搜索不完美”。标准向量存储纯粹基于嵌入后的问题与嵌入后的文本块之间的语义相似度来检索,而且对每个文本块都是孤立地检索。整个过程中没有任何地方表示一个文本块与另一个文本块的关系:它们是否讨论同一个实体,一个是否为另一个提供所需的上下文,或者它们是否构成因果关系。

多跳问题——需要把两三个彼此独立又相互关联的事实拼在一起才能得出答案的问题——正是这类机制失效的地方。这是检索机制本身的结构性局限,不是靠更好的提示词或更大的上下文窗口就能可靠解决的。问题不在于模型拿到正确信息后不会推理;而在于普通向量搜索往往从一开始就没能把所有正确的片段都找出来。

graphrag-toolkit 是 AWS Labs 专门为弥合这一缺口而构建的开源 Python 工具包,采用 Apache 2.0 许可证。它由两个组件构成。第一个也是本文的重点,是 lexical-graph,一个从非结构化文档自动构建分层知识图谱并对其进行查询的框架。第二个是 BYOKG-RAG(Bring Your Own Knowledge Graph),面向已经有知识图谱、希望在其上叠加多策略问答层而不想从头重新抽取的团队,是另一种独立方案。

AWS 在自己的发布博客中公开介绍了这个工具包,分层词汇图模型背后的设计记录在一篇专门的研究论文《Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval》中。它也并非纯理论:德勤已在其基于 Amazon Neptune 的 GenAI Security Intelligence Center 中使用了 lexical-graph,这是一个真实的生产部署,在 re:Invent 2025 的一场技术分享中有详细介绍。

这是写代码之前值得理解的技术核心。根据工具包自身的图模型文档,词汇图把抽取出的内容组织为六个相互连接的层级:source、chunk、topic、statement、fact 和 entity。检索可以在这些层级之间任意跳转,而不像普通向量存储那样只能停留在 chunk 层级——正是这一结构特性让多跳问题真正变得可回答。

构建图谱分为两个截然不同的阶段:extract 和 build,二者被有意分开。extract 阶段读入原始源文档,进行分块,并用 LLM 抽取主题、陈述、事实和实体。build 阶段则利用这些抽取出的元素填充实际的图和向量索引。把这两个阶段作为真正独立、微批处理、可断点续跑的流水线阶段来运行,而不是一个单体流程,意味着大规模数据导入任务可以中途暂停、检查或过滤,而不会丢失进度。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →