GraphRAG实战：突破传统RAG的界限，把PDF转换成为Prompt可优化的数据集

早就不是抄一段代码就能搞流量的时代了，还是要干点实事。比如，最新的GraphRAG代码，微软是7月2号放出来的，我是19个小时后注意到的，当时想找个周末好好研究一下。

「GraphRAG」

不到一周的时间，就已经到了7K Star，这，足以说明一些问题。

传统的RAG方法主要依赖于文本块的直接检索和生成。虽然这种方法在处理局部性强的问题上表现出色，但在面对需要全局理解和综合分析的任务时，往往力不从心。例如，当需要回答"这个数据集的主要主题是什么？"这类全局性问题时，传统RAG方法难以提供令人满意的答案。

GraphRAG通过引入图结构和社区检测算法，巧妙地解决了这一问题。它的核心思想是将文本语料构建成一个知识图谱，然后利用图的模块化特性进行全局信息的组织和检索。这种方法不仅能够处理局部查询，还能有效回答全局性问题，真正实现了从"局部到全局"的飞跃。它有望揭示隐藏的见解、连接不同的信息，并为复杂的查询提供更全面、更细致的答案。

但是，GraphRAG 的工业化可能存在一些障碍。

可扩展性是首要考虑的问题。随着数据集的增长，图构建和查询的计算强度呈指数级增长。当前的实现可能会难以应对真正庞大的数据集。此外，系统依赖LLMs进行实体和关系提取引入了潜在的瓶颈。 还有模型兼容的问题，这些只有你跑过了代码才能深刻体会。

不要把问题搞的太复杂，尽管这不是一个简单的类型。GraphRAG通过以下4步实现。

1. 图索引构建

GraphRAG首先使用大型语言模型（LLM）从源文档中提取实体、关系和属性，构建一个丰富的知识图谱。这个过程包括：

- 文本分块和实体识别

- 关系提取

- 属性和声明的识别

2. 社区检测

利用Leiden算法等社区检测方法，GraphRAG将图索引划分为多个层次的社区。这种层次结构允许系统在不同粒度上组织和访问信息。

3. 社区摘要生成

对每个检测到的社区，使用LLM生成描述性摘要。这些摘要提供了社区内容的高级概述，为后续的查询处理奠定基础。

4. 查询处理

当收到查询时，GraphRAG采用以下步骤：

- 将查询映射到相关的社区

- 并行生成每个相关社区的部分回答

- 综合所有部分回答，生成最终的全局回答

不同类型的图结构，对理解GraphRAG确实很重要。不仅GraphRAG但凡是涉及图表达的，在这七张图中总能找到你看着眼熟的结构。这对于以后GraphRAG评估也很重要，尽管这个问题暂时还不涉及。

1. Erdős–Rényi（ER）模型：

   - 特点：这是一种随机图模型，其中任意两个节点之间都有固定的概率存在连接。ER 模型的标准英文名称是 Erdős–Rényi model，以匈牙利数学家 Paul Erdős 和 Alfréd Rényi 的姓氏命名。

   - 结构：图中的边分布均匀，不存在明显的集群或中心节点。

   - 在 GraphRAG 中的应用：适用于模拟知识领域中概念之间的随机关联，特别是在处理广泛但关联度不高的知识库时很有用。例如，可用于表示跨学科研究中的初步关联。

2. Barabási–Albert（BA）模型：

   - 特点：这是一种优先连接模型，新加入的节点更倾向于与已有的高度连接节点相连。

   - 结构：形成无标度网络，存在少数高度连接的"枢纽"节点和大量低度连接的节点。

   - 在 GraphRAG 中的应用：非常适合表示有核心概念或关键实体的知识结构。例如，在科学文献网络中，某些基础性论文会成为高度连接的节点。

3. 随机块模型（Stochastic Block Model，SBM）：

   - 特点：图中的节点被划分为不同的块或社区，块内部的连接概率高于块之间。

   - 结构：呈现明显的社区或群组结构，不同社区之间的连接相对稀疏。

   - 在 GraphRAG 中的应用：这种模型对于实现知识的层次化组织和社区检测极为有用。可以帮助系统更有效地组织和检索大规模、多领域的知识。

4. 无标度网络（Scale-Free Network，SFN）：

   - 特点：节点的连接度分布遵循幂律，即存在少数高连接度的节点和大量低连接度的节点。

   - 结构：类似 BA 模型，但更强调连接度的幂律分布特性。

   - 在 GraphRAG 中的应用：适合模拟现实世界中的许多复杂网络，如社交网络或学术引用网络。有助于识别和利用知识网络中的关键节点。

5. 路径图（Path）：

   - 特点：节点按照线性顺序连接，每个节点（除了首尾）只与相邻的两个节点相连。

   - 结构：呈现为一条直线或链状。

   - 在 GraphRAG 中的应用：适合表示具有明确顺序或因果关系的知识，如历史事件序列、算法步骤或推理链。

6. 星型图（Star）：

   - 特点：一个中心节点与多个外围节点相连，外围节点之间没有直接连接。

   - 结构：呈现辐射状，中心节点度数高，外围节点度数为 1。

   - 在 GraphRAG 中的应用：适合表示中心概念及其直接相关的从属概念。例如，可用于组织主题及其子主题，或表示某个核心实体及其属性。

7. 完全图（Complete）：

   - 特点：图中的每个节点都与其他所有节点直接相连。

   - 结构：高度密集，任意两个节点间都有边相连。

   - 在 GraphRAG 中的应用：适合表示高度相关且相互影响的概念集合。但由于其高密度特性，在大规模知识图谱中较少使用，更多用于表示局部的紧密关联群组。

理解这些图结构对于优化 GraphRAG 系统至关重要。在实际应用中，GraphRAG 可能需要识别并利用知识图谱中的这些不同结构特征，以提高信息检索的准确性和效率。例如，在处理科学文献时，系统可能会利用无标度网络的特性来快速定位关键论文；而在组织跨学科知识时，可能会更多地依赖随机块模型的特性来实现有效的知识分类和检索。

接下来，我将用一个示例来为你打开GraphRAG之门，解决一个大家常见而棘手的问题，就是面对一堆PDF文档，如何编制问题，生成答案，高质高效完成数据集的创建工作。我用到的文档就是本篇文章的论文，你得到源码后可以替换，我用到的模型是deepseek-chat，Embedding模型是jina-embeddings-v2-base-zh，运行环境是Jupyter。

以下是一个简化的GraphRAG本地搜索实现示例，展示了如何处理PDF文档并执行基于检索的问答：

import os

import asyncio

import pandas as pd

from PyPDF2 import PdfReader

from langchain.text_splitter import RecursiveCharacterTextSplitter

from graphrag.query.context_builder.entity_extraction import EntityVectorStoreKey

from graphrag.query.input.loaders.dfs import store_entity_semantic_embeddings

from graphrag.query.structured_search.local_search.mixed_context import LocalSearchMixedContext

from graphrag.query.structured_search.local_search.search import LocalSearch

from graphrag.vector_stores.lancedb import LanceDBVectorStore

import requests

import json

# ... [省略了Entity, DeepSeekClient, JinaAIEmbedding类的定义]

def process_pdf(file_path):

with open(file_path, 'rb') as file:

pdf_reader = PdfReader(file)

text = ""

for page in pdf_reader.pages:

text += page.extract_text()

return text

def split_text(text):

text_splitter = RecursiveCharacterTextSplitter(

chunk_size=1000,

chunk_overlap=200,

length_function=len

)

chunks = text_splitter.split_text(text)

return chunks

async def run_rag_query(search_engine, question):

print(f"执行查询：'{question}'")

try:

result = await search_engine.asearch(question)

print("查询结果：")

print(result.response)

return result.response

except Exception as e:

print(f"查询过程中发生错误: {str(e)}")

return None

# ... [省略了main函数和其他辅助函数]

# 在Jupyter中运行

await main()

这个示例展示了如何处理PDF文档、创建文本嵌入、构建搜索引擎，以及执行基于检索的问答。虽然这个实现没有包含完整的GraphRAG功能，但它为理解和扩展到全面的GraphRAG系统奠定了基础。从原理上这是一个完全图（Complete Graph）的简化版，在代码中我还用到自动生成并回答问题的模块，这就解决了生成数据集的问题。

要将这个实现升级为真正的 GraphRAG 系统，需要进行以下改进：

1. 显式的图结构：引入节点（实体）之间的明确关系（边）。

2. 社区检测：实现如 Leiden 算法的社区检测方法，对知识进行分层组织。

3. 分层摘要：为不同层级的社区生成摘要。

4. 图遍历算法：实现基于图结构的检索方法，而不仅仅依赖向量相似度。

5. 动态图更新：允许在新增知识时动态更新图结构。

   
   

我就是为了自动生成数据集，所以没必要那么复杂。数据集生成后，你还可以建立一个评估系统，开始打分，比如：

评分标准：1-5分，其中1分最低，5分最高。评分基于回答的准确性、相关性和全面性。对自动生成的问题和答案进行打分并矫正其中的错误，这可以用一些高级的提示词来实现。下面的问题和答案在上图中。

问题1：在研究中，知识增强的语言模型提示是如何具体应用于数据收集和预处理阶段的？

评分：4/5

评价：回答大体准确，涵盖了数据收集和预处理的主要步骤。然而，它缺少了一些论文中特别提到的细节，如实体和关系的提取。

矫正：

• 在数据收集阶段，应该强调实体和关系的提取过程。论文提到使用LLM提示来识别和提取文本中的实体、关系和声明。

• 在预处理阶段，可以提到使用LLM生成的社区摘要作为一种数据增强方法。

  
  

有这个想法就可以把这些也写进代码。接下来就是优化，优化的方法有很多，但建议你还是从APO、OPRO开始了解，再逐渐过渡到DSPy，这不在本篇讨论范围，具体您可以看谷歌的这两篇。

GraphRAG的创新为多个领域带来了新的可能性：

1. 智能文档分析

GraphRAG可以应用于大规模文档集的智能分析。例如，在法律或医疗领域，它可以帮助专业人士快速理解和综合大量文献的核心观点。

2. 知识管理系统

企业可以利用GraphRAG构建更智能的知识管理系统，实现跨部门、跨文档的知识整合和检索。

3. 教育技术

GraphRAG可以用于开发先进的学习辅助工具，帮助学生快速理解和关联大量学习材料的核心概念。

4. 科研辅助

研究人员可以使用GraphRAG来分析大量学术文献，发现研究趋势，并生成综述报告。

5. 内容创作和管理

媒体和出版行业可以利用GraphRAG进行内容规划、主题挖掘和跨领域内容关联。