引言
之前的文章已经深入探讨了 RAG（检索增强生成）。今天，我们要介绍一篇名为 Graph RAG 的新论文。大语言模型（LLM）问世后不久，RAG 就成为了生成式 AI 领域的热门话题。但这些系统并非没有挑战。虽然它提升了 LLM 的功能，同时也带来了一系列新问题，每个问题都需要独特的解决方案。去年以来，已经发展出多种策略，让 RAG 系统变得更稳定、更灵活。今天，我们同样努力地将介绍 Graph RAG。
RAG 在处理针对整个文本集的全局性问题时表现不佳，比如询问“数据集的主要主题是什么？”，因为这本质上是一个查询聚焦的摘要任务，而不是一个直接的检索任务。Graph RAG 正是为了解决这类问题而设计的。那么，让我们开始吧。
涵盖的主题：
介绍 RAG
为什么使用图？
Graph RAG 的应用
RAG 是什么？
将 RAG 应用于私有数据集
总结
介绍 RAG：
简而言之，RAG 就是为我们的大语言模型（LLM）提供额外上下文的技术，以生成更准确、更具针对性的回答。虽然 LLM 在公开可用的数据上训练得非常聪明，但它们缺乏回答特定问题所需的上下文。通过 RAG，我们能为它们提供解答我们问题的必要上下文。
RAG 是一种向我们的 LLM 插入新知识或能力的方式，但这种知识插入并不是永久的。另一种向 LLM 添加新知识或能力的方法是通过对特定数据进行细致调整（Fine Tuning）。
通过细致调整添加新知识相当复杂、困难、昂贵，并且是永久的。甚至，细致调整添加的新能力可能会影响它之前拥有的知识。在细致调整过程中，我们无法控制哪些权重会被改变，因此哪些能力会增强或减弱。
现在，我们选择细致调整、RAG 还是两者的结合，完全取决于我们面对的任务。没有一种方法能适用于所有情况。
将文档分割成均匀的块。
每个块是一段原始文本。
为每个块生成嵌入（例如，使用 OpenAI 嵌入、sentence_transformer），通过编码器并将其存储在数据库中。
寻找最相似的 Top-K 编码块，获取这些块的原始文本，并将其作为上下文与提示一起提供给生成器。
为什么使用图？
图，由节点（顶点）和边（连接）组成，自18世纪以来就在数据表示中扮演着核心角色。它们在现代 AI 中尤为重要，理由有几个：
知识图谱用于存储关系：
知识图谱表示现实世界实体及其相互关系。在现实世界中，数据的自然排列往往就是图形结构的。比如，我们在社交媒体上形成的联系就遵循图形结构。
图有两个基本组成部分，节点代表实体（人、地点、事件），边代表关系，通常带有描述这些关系性质的标签。例如，用节点代表 Susannah 和 Salesforce，并通过一个标有“工作于”的边连接它们来表示“Susannah 在 Salesforce 工作”。
知识图谱帮助机器理解和模拟语义，提高 AI 响应的质量，并增强预测模型，如推荐引擎。
数据图用于在 AI 规模下存储和检索：
数据图存储复杂关系，并能高效检索数据。这里，节点代表数据对象，边代表这些对象之间的关系。例如，数据云中的数据图将层次关系简化为单一记录，提高查询处理速度。这种结构也有助于高效地实时数据检索，这对于需要快速响应大量数据集的许多 AI 应用至关重要。
Graph RAG 的应用是什么？
Graph RAG（图检索增强生成）是一种先进的方法，将基于图的数据结构与检索增强生成技术结合起来，以增强语言模型的能力。Graph RAG 旨在对规模化的私有文本库进行问答，能够处理用户问题的普遍性和需要索引的源文本数量。Graph RAG 使用 LLM 构建基于图的文本索引，然后利用它来回答全局性的问题。该过程分为两个阶段：
从源文档中提取实体知识图谱。
为所有紧密相关的实体群组预生成社区摘要。
给定一个问题，每个社区摘要用于生成部分回答，然后将所有部分回答汇总成最终用户的回答。
对于数据集规模在 100 万词元范围内的全局性问题，该论文显示，Graph RAG 在生成答案的全面性和多样性方面，相比于基础 RAG 模型有显著提升。
Graph RAG 是什么？
Graph RAG 是一个两步骤过程：首先，通过对私有数据进行索引创建由 LLM 派生的知识图谱。这些图谱作为 LLM 的记忆表示，可以被后续步骤用于更有效的检索。
系统的第二部分是利用这些预建索引的 LLM 协调机制，创建了一个更优的 RAG 流程，能够一次性理解整个数据集。
Graph RAG 特别实现了两件事：
提高搜索相关性。
实现可能需要非常大上下文的新场景。例如，发现数据趋势、进行摘要等。
它是如何做到的？
源文档 → 文本块
粒度：将源文档的输入文本分割成块。
权衡：更长的块需要更少的 LLM 调用，但可能因为较长的上下文窗口而降低召回率。
示例：在 HotPotQA 数据集上，600 词元的块大小提取的实体引用几乎是 2400 词元块大小的两倍。
文本块 → 元素实例
目标：从文本块中识别和提取图节点和边。
过程：使用 LLM 提示识别实体和关系，输出限定元组。
定制化：用特定领域的少数示例来定制提示。
效率：多轮“收获”确保在不牺牲块大小的情况下检测到更多实体。
元素实例 → 元素摘要
摘要：LLM 抽象并总结文本中的实体、关系和主张。
处理重复：尽管存在实体引用的潜在不一致性，但由于检测到密切相关的实体及其摘要，该方法具有韧性。
元素摘要 → 图社区
图建模：创建一个无向加权图，其中节点是实体，边是关系。
社区检测：使用 Leiden 算法将图分割成层次化社区，以实现高效的全局摘要。
图社区 → 社区摘要
摘要创建：为每个社区生成报告式摘要。
实用性：摘要有助于理解数据集的全局结构和语义，辅助回答全局查询。
社区摘要 → 社区回答 → 全局回答
查询处理：使用社区摘要生成回答。
中间回答：将摘要分成块，LLM 根据帮助度分数生成回答。
最终回答：将得分最高的中间回答合并成最终的全局回答。
将 RAG 应用于私有数据集
为了展示 GraphRAG 的有效性，研究人员提供了一个示例案例，我们从使用新闻文章中的暴力事件信息（VIINA）数据集开始进行调查。由于其复杂性和存在不同观点及片面信息，选择了这个数据集。这是一个足够新的、不包括在 LLM 基础模型训练中的现实世界测试案例。
我们从 2023 年 6 月的俄罗斯和乌克兰新闻来源的新闻文章开始，翻译成英文，以此创建我们将进行基于 LLM 检索的私有数据集。数据集的规模远远超出了 LLM 上下文窗口的容量，因此需要采用 RAG 方法。
我们首先进行一个探索性查询，将其提交给基线 RAG 系统和我们的新方法，GraphRAG：
查询：“Novorossiya 是什么？”
在这些结果中，我们可以看到两个系统都表现良好——突出显示了基线 RAG 表现良好的查询类型。让我们尝试一个需要连接点的查询：
查询：“Novorossiya 做了什么？”
基线 RAG 无法回答这个问题。查看插入到上下文窗口的源文档（图 1），没有文本段讨论 Novorossiya，导致这一失败。
相比之下，GraphRAG 方法发现了查询中的一个实体，Novorossiya。这使得 LLM 能够在图中定位自己，并产生了一个包含原始支持文本链接的优越回答。例如，下面的图 2 显示了 LLM 用于生成声明“Novorossiya 被涉嫌计划炸毁 ATM 机”的确切内容。我们看到了 LLM 用来支持特定银行是 Novorossiya 目标的断言的原始源文档的片段（经过英文翻译），通过图中存在的两个实体之间的关系。
通过使用 LLM 生成的知识图谱，GraphRAG 大大改进了 RAG 的“检索”部分，用更高相关性的内容填充上下文窗口，从而获得更好的答案并捕获证据来源。
能够信任并验证 LLM 生成结果的重要性始终存在。我们关心结果是否事实正确、连贯，并准确代表源材料中的内容。GraphRAG 提供了证据来源或源定位信息，因为它生成每个响应。拥有每个断言的引用来源也使人类用户能够快速、准确地直接针对原始源材料审计 LLM 的输出。
结论
这个想法看起来很酷，但其成功取决于 LLM 首先能够多好地提取关系，同时并非所有数据都是或可以以图形结构展示，这样的考虑会产生什么影响，尚待观察。
