微软最新力作Graph RAG：颠覆革新传统AI检索

在本文中，我们提出了一种 基于大型语言模型（LLM）生成知识图谱全局摘要的 图检索增强生成（Graph RAG）方法（见图1）。与以往利用图索引进行结构化检索和遍历的研究不同，我们聚焦于一个独特且未被探索的特性：其固有的模块化特性（Newman, 2006）以及社区检测算法将图划分为紧密相关节点模块化社区的能力（如Louvain算法，Blondel等人，2008；Leiden算法，Traag等人，2019）。

我们利用LLM为这些文档生成摘要，随后，通过一种映射归约方法实现了对整个语料库的查询聚焦摘要：首先，独立且并行地使用每个社区摘要来回答查询；然后，将所有相关的部分答案汇总成最终的全局答案。

为了评估该方法，我们使用LLM从两个具有代表性的真实世界数据集（分别包含播客转录和新闻文章）的简短描述中生成了一系列以活动为中心的意义构建问题。针对全面性、多样性和赋能性这三个目标特性，这些特性有助于理解广泛的问题和主题，我们研究了不同层级的社区摘要在回答查询时的影响，并与简单的RAG方法和源文本的全局映射归约摘要进行了比较。结果表明，所有全局方法在全面性和多样性方面均优于简单的RAG，而采用中级和低级社区摘要的Graph RAG在相同指标上表现出优于源文本摘要的性能，同时降低了标记成本。

2.1 源文档 → 文本块

一个基本的设计决策是，从源文档中提取的输入文本应以何种粒度分割成文本块进行处理。在后续步骤中，这些文本块将传递给一组用于提取各种图索引元素的大型语言模型（LLM）提示。较长的文本块在提取过程中需要的LLM调用次数较少，但会遭受LLM长上下文窗口召回率下降的影响（Kuratov等人，2024；Liu等人，2023）。

如图2，在HotPotQA样本数据集上的实验显示，使用较短文本块（如600个标记）进行提取时，尽管LLM调用次数更多，但能够提取到的实体引用数量几乎是使用较长文本块（如2400个标记）的两倍。这表明，在某些情况下，较短的文本块可能更有利于提高信息提取的召回率。尽管提取到更多的实体引用通常是有益的，但这也需要考虑到精确率（即提取的信息中有多少是正确的）。在实际应用中，需要找到一个平衡点，使得在保持较高精确率的同时，尽可能提高召回率。

2.2文本块 → 元素实例

2.3 元素实例 → 元素摘要

2.4 元素摘要 → 图社区

在上一步中创建的索引可以被建模为一个同构无向加权图，其中实体节点通过关系边相连，边的权重表示检测到的关系实例的归一化计数。给定这样的图，可以使用多种社区检测算法将图划分为节点社区，这些节点社区内部的连接强度高于它们与图中其他节点的连接强度（例如，参见Fortunato, 2010和Jin等人的综述，2021）。在我们的流程中，我们选择了Leiden算法（Traag等人，2019），因为它能够高效地恢复大规模图的层次社区结构（如图3所示）。

这个层次结构的每一层都提供了一个社区划分，它以互斥且集体穷尽的方式覆盖图的节点，从而实现了分而治之的全局摘要。

2.5 图社区 → 社区摘要

• 叶子层级社区。首先根据优先级将叶子层级社区的元素摘要（节点、边、协变量）添加到LLM的上下文窗口中，直到达到令牌限制。优先级排序如下：对于每个社区边，按照源节点和目标节点度（即整体重要性）之和的降序排列，添加源节点、目标节点、链接的协变量以及边本身的描述。
• 更高层级的社区。如果所有元素摘要都能适应上下文窗口的令牌限制，则按照叶子层级社区的方式进行处理，并总结社区内的所有元素摘要。否则，按照元素摘要令牌的降序对子社区进行排序，并迭代地用子社区摘要（较短）替换其相关的元素摘要（较长），直到适应上下文窗口为止。

2.6 社区摘要 → 社区答案 → 全局答案

• 准备社区摘要：将社区摘要随机打乱并分成预定令牌大小的块。这确保了相关信息被分配到各个块中，而不是集中在（并可能丢失在）单个上下文窗口中。
• 映射社区答案：并行生成中间答案，每个块一个。同时要求LLM（大型语言模型）为生成的答案生成一个0-100之间的分数，表示该答案在回答目标问题时的有用程度。分数为0的答案将被过滤掉。
• 合并成全局答案：将中间社区答案按照有用性分数降序排列，并迭代地添加到新的上下文窗口中，直到达到令牌限制。使用这个最终的上下文来生成返回给用户的全局答案。

3.1 RAG方法和系统

3.2 图与大型语言模型（LLMs）

将图与大型语言模型（LLMs）和检索增强生成（RAG）相结合是一个不断发展的研究领域，已经确立了多个研究方向。这些方向包括使用LLMs进行知识图的创建（Trajanoska等人，2023）和补全（Yao等人，2023），以及从源文本中提取因果图（Ban等人，2023；Zhang等人，2024）。此外，还包括高级RAG的形式（Gao等人，2023），其中索引是知识图（如KAPING，Baek等人，2023），查询的对象是图结构的子集（如G-Retriever，He等人，2024）或派生的图度量（如GraphToolFormer，Zhang，2023），以及将叙述输出紧密地基于检索到的子图事实（如SURGE，Kang等人，2023），使用叙述模板序列化检索到的事件情节子图（如FABULA，Ranade和Joshi，2023），以及支持文本关系图的创建和遍历以进行多跳问答的系统（如Wang等人，2023b）。

在开源软件方面，LangChain（LangChain，2024）和LlamaIndex（LlamaIndex，2024）库都支持多种图数据库，同时也在出现一类更通用的基于图的RAG应用，包括能够在Neo4J（如NaLLM，Neo4J，2024）和NebulaGraph（如GraphRAG，NebulaGraph，2024）格式中创建和推理知识图的系统。然而，与我们的Graph RAG方法不同，这些系统都没有利用图的自然模块性来对数据进行分区以实现全局摘要。

评估方法的局限性：截至目前，我们的评估仅针对约一百万词汇量的两个语料库中的某一类理解性问题进行了考察。为了更全面地理解性能在不同类型问题、数据类型和数据集大小上的变化，以及验证我们的理解性问题和目标指标与用户需求的契合度，还需要进一步的研究。此外，通过采用如SelfCheckGPT（Manakul等人，2023）等方法来比较生成内容的真实性，也将有助于改进当前的分析。

构建图索引的权衡：我们始终观察到，与其他方法相比，Graph RAG（基于图的检索增强生成）在直接对比中取得了最佳结果。然而，在许多情况下，无图的全局源文本摘要方法也表现出很强的竞争力。在实际应用中，是否投入资源构建图索引取决于多种因素，包括计算预算、每个数据集预期的生命周期查询次数，以及从图索引中获取的其他方面的价值（包括通用的社区摘要和其他基于图的RAG方法的应用）。

未来工作：当前Graph RAG方法所依赖的图索引、丰富的文本注释和层次化的社区结构为进一步的优化和适应提供了多种可能性。这包括通过用户查询和图注释的嵌入式匹配，以更局部化的方式运行的RAG方法；以及结合基于嵌入的社区报告匹配与我们的map-reduce摘要机制的混合RAG方案。此外，“汇总”操作可以扩展到社区层次的更多级别，也可以实现为一种更具探索性的“深入挖掘”机制，该机制遵循高级别社区摘要中包含的信息线索。

我们提出了一种针对图关系增强生成（Graph RAG）的全局方法，该方法融合了知识图生成、检索增强生成（RAG）和查询聚焦摘要（QFS），旨在帮助人类对整个文本语料库进行理解和分析。初步评估结果显示，与朴素的RAG基线相比，该方法在答案的全面性和多样性方面均取得了显著改进，并且与使用MapReduce源文本摘要的全局但无图的方法相比也表现优异。

对于需要在同一数据集上进行大量全局查询的场景，基于实体的图索引中根级社区的摘要提供了一种数据索引方式，这种方式不仅优于朴素的RAG，而且以极低的令牌成本实现了与其他全局方法相媲美的性能。