使用Neo4j和LangChain，在RAG应用中构建和检索知识图谱。
图形检索—增强生成（GraphRAG）的发展势头日益强劲，已成为传统向量搜索检索方法的有力补充。这种方法利用图数据库的结构化特性，将数据组织为节点和关系，从而增强了检索信息的深度和上下文关联性。
图形擅长以结构化方式表示和存储异构和互连的信息，能够轻松捕获不同数据类型之间的复杂关系和属性。相比之下，向量数据库通常难以处理此类结构化信息，因为它们的优势在于通过高维向量处理非结构化数据。在RAG应用程序中，可以将结构化的图数据与非结构文本的向量搜索相结合，以获得双方的优势。这就是将在这篇文章中展示的内容。
一、创建知识图谱
构建知识图谱通常是最富挑战性的一步。它涉及数据的收集和结构化，这需要对领域和图建模有深入的理解。
为了简化这一过程，可以尝试使用大语言模型（LLM）。凭借对语言和上下文的深刻理解，LLM可以自动完成知识图谱创建过程的大部分工作。通过分析文本数据，这些模型可以识别实体、理解它们之间的关系，并建议如何在图结构中最好地表示它们。
作为这些实验的结果，我们已经在LangChain中添加了第一版的图构建模块，将在这篇文章中进行演示。
代码可在GitHub上获取。
【GitHub】：https://github.com/tomasonjo/blogs/blob/master/llm/enhancing_rag_with_graph.ipynb
Neo4j环境设置
需要设置一个Neo4j实例，请按照本文章中的示例操作。最简单的方法是在Neo4j Aura（https://neo4j.com/cloud/platform/aura-graph-database/）上启动一个免费实例，它提供Neo4j数据库的云实例。或者，也可以通过下载Neo4j Desktop应用程序（https://neo4j.com/download/），并创建一个本地数据库实例，从而设置Neo4j数据库的本地实例。
os.environ["OPENAI_API_KEY"] = "sk-"
os.environ["NEO4J_URI"] = "bolt://localhost:7687"
os.environ["NEO4J_USERNAME"] = "neo4j"
os.environ["NEO4J_PASSWORD"] = "password"
graph = Neo4jGraph()
此外，还必须提供一个OpenAI密钥，因为我们将在这篇文章中使用他们的模型。
二、数据导入
在本演示中，我们将使用伊丽莎白一世的维基百科页面。我们可以使用LangChain加载器无缝地获取和拆分来自维基百科的文档。
【伊丽莎白一世维基百科】：https://en.wikipedia.org/wiki/Elizabeth_I
【LangChain加载器】：https://python.langchain.com/v0.1/docs/modules/data_connection/document_loaders/
# 读取维基百科文章
raw_documents = WikipediaLoader(query="Elizabeth I").load()
# 定义分块策略
text_splitter = TokenTextSplitter(chunk_size=512, chunk_overlap=24)
documents = text_splitter.split_documents(raw_documents[:3])
现在是时候根据检索到的文档构建一个图了。为此，我们实现了一个LLMGraphTransformer模块，它大大简化了在图数据库中构建和存储知识图谱的过程。
llm=ChatOpenAI(temperature=0, model_name="gpt-4-0125-preview")
llm_transformer = LLMGraphTransformer(llm=llm)
# 提取图数据
graph_documents = llm_transformer.convert_to_graph_documents(documents)
# 存储到neo4j
graph.add_graph_documents(
graph_documents,
baseEntityLabel=True,
include_source=True
)
可以定义希望知识图谱生成链使用的LLM。目前，我们只支持来自OpenAI和Mistral的函数调用模型。但是，我们计划在未来扩展LLM的选择范围。在这个例子中，我们使用的是最新的GPT-4。请注意，生成的图的质量很大程度上取决于使用的模型。理论上，总是希望使用最强大的模型。LLM图转换器返回图文档，这些文档可以通过add_graph_documents方法导入到Neo4j中。baseEntityLabel参数为每个节点分配一个额外的__Entity__标签，以增强索引和查询性能。include_source参数将节点链接到它们的源文档，以便于数据追溯和上下文理解。
可以在Neo4j浏览器中查看生成的图。
请注意，该图像只代表生成的图的一部分。
三、用于RAG的混合检索
在图生成之后，我们将使用混合检索方法，将向量和关键字索引与图检索相结合，用于RAG应用程序。
该图展示了一个检索过程，首先是用户提出问题，然后将问题导向RAG检索器。该检索器使用关键字和向量搜索来搜索非结构化文本数据，并将其与从知识图谱收集的信息相结合。由于Neo4j同时支持关键字和向量索引，因此可以使用单一的数据库系统实现所有三种检索选项。从这些来源收集的数据被输入到LLM中，以生成并提供最终答案。
3.1 非结构化数据检索器
可以使用Neo4jVector.from_existing_graph方法为文档添加关键字和向量检索。该方法为混合搜索方法配置关键字和向量搜索索引，目标是标有Document的节点。此外，如果缺少文本嵌入值，它还会计算这些值。
vector_index = Neo4jVector.from_existing_graph(
OpenAIEmbeddings(),
search_type="hybrid",
node_label="Document",
text_node_properties=["text"],
embedding_node_property="embedding"
)
然后就可以使用similarity_search方法调用向量索引。
3.2 图检索器
另一方面，配置图检索器更为复杂，但提供了更多自由度。这个例子将使用全文索引来识别相关节点，并返回它们的直接邻域。
图检索器首先识别输入信息中的相关实体。为简单起见，我们指示LLM识别人物、组织和位置。为此，我们将使用LCEL和新添加的with_structured_output方法来实现这一目标。
# 从文本中提取实体
class Entities(BaseModel):
"""Identifying information about entities."""
names: List[str] = Field(
...,
description="All the person, organization, or business entities that "
"appear in the text",
)
prompt = ChatPromptTemplate.from_messages(
[
(
"system",
"You are extracting organization and person entities from the text.",
),
(
"human",
"Use the given format to extract information from the following "
"input: {question}",
),
]
)
entity_chain = prompt | llm.with_structured_output(Entities)
让我们来测试一下。
entity_chain.invoke({"question": "Where was Amelia Earhart born?"}).names
# ['Amelia Earhart']
太好了，现在我们可以检测问题中的实体了，让我们使用全文索引将它们映射到知识图谱中。首先，我们需要定义一个全文索引和一个可以生成全文查询的函数，其中允许有一些拼写错误，这里就不详细介绍了。
graph.query(
"CREATE FULLTEXT INDEX entity IF NOT EXISTS FOR (e:__Entity__) ON EACH [e.id]")
def generate_full_text_query(input: str) -> str:
"""
Generate a full-text search query for a given input string.
This function constructs a query string suitable for a full-text search.
It processes the input string by splitting it into words and appending a
similarity threshold (~2 changed characters) to each word, then combines
them using the AND operator. Useful for mapping entities from user questions
to database values, and allows for some misspelings.
"""
full_text_query = ""
words = [el for el in remove_lucene_chars(input).split() if el]
for word in words[:-1]:
full_text_query += f" {word}~2 AND"
full_text_query += f" {words[-1]}~2"
return full_text_query.strip()
现在，让我们把它们全部组合起来。
# 全文索引查询
def structured_retriever(question: str) -> str:
"""
Collects the neighborhood of entities mentioned
in the question
"""
result = ""
entities = entity_chain.invoke({"question": question})
for entity in entities.names:
response = graph.query(
"""CALL db.index.fulltext.queryNodes('entity', $query, {limit:2})
YIELD node,score
CALL {
MATCH (node)-[r:!MENTIONS]->(neighbor)
RETURN node.id + ' - ' + type(r) + ' -> ' + neighbor.id AS output
UNION
MATCH (node)<-[r:!MENTIONS]-(neighbor)
RETURN neighbor.id + ' - ' + type(r) + ' -> ' + node.id AS output
}
RETURN output LIMIT 50
""",
{"query": generate_full_text_query(entity)},
)
result += "\n".join([el['output'] for el in response])
return result
structured_retriever函数首先检测用户问题中的实体。接下来，它会遍历检测到的实体，并使用Cypher模板检索相关节点的邻域。让我们来测试一下！
print(structured_retriever("Who is Elizabeth I?"))
# Elizabeth I - BORN_ON -> 7 September 1533
# Elizabeth I - DIED_ON -> 24 March 1603
# Elizabeth I - TITLE_HELD_FROM -> Queen Of England And Ireland
# Elizabeth I - TITLE_HELD_UNTIL -> 17 November 1558
# Elizabeth I - MEMBER_OF -> House Of Tudor
# Elizabeth I - CHILD_OF -> Henry Viii
# and more...
3.3 最终检索器
正如开头提到的，我们将结合非结构化检索器和图形检索器，创建传递给LLM的最终上下文。
def retriever(question: str):
print(f"Search query: {question}")
structured_data = structured_retriever(question)
unstructured_data = [el.page_content for el in vector_index.similarity_search(question)]
final_data = f"""Structured data:
{structured_data}
Unstructured data:
{"#Document ". join(unstructured_data)}
"""
return final_data
由于我们使用的是Python，因此只需使用f-string将输出连接起来即可。
四、定义RAG链
我们已经成功实现了RAG的检索组件。接下来，我们将引入一个提示，利用集成混合检索器提供的上下文来生成响应，从而完成RAG链的实现。
template = """Answer the question based only on the following context:
{context}
Question: {question}
"""
prompt = ChatPromptTemplate.from_template(template)
chain = (
RunnableParallel(
{
"context": _search_query | retriever,
"question": RunnablePassthrough(),
}
)
| prompt
| llm
| StrOutputParser()
)
最后，我们可以继续测试我们的混合RAG实现。
chain.invoke({"question": "Which house did Elizabeth I belong to?"})
# 搜索查询：Which house did Elizabeth I belong to?（伊丽莎白一世属于哪个王朝?）
# 'Elizabeth I belonged to the House of Tudor.'（'伊丽莎白一世属于都铎王朝。'）
此示例还加入了一个查询重写功能，使RAG链能够适应并支持追问的对话环境。鉴于我们使用的是向量和关键字搜索方法，我们必须重写后续问题以优化我们的搜索过程。
chain.invoke(
{
"question": "When was she born?",
"chat_history": [("Which house did Elizabeth I belong to?", "House Of Tudor")],
}
)
# 搜索查询：When was Elizabeth I born?（她出生于何时）
# 'Elizabeth I was born on 7 September 1533.'（'伊丽莎白一世于1533年9月7日出生。'）
可以观察到，When was she born?首先被重写为When was Elizabeth I born? 。然后使用重写后的查询来检索相关上下文并回答问题。
五、轻松增强RAG应用
通过引入LLMGraphTransformer，知识图谱的生成过程将变得更加流畅和易于访问，这使得任何希望使用知识图谱提供的深度和上下文来增强他们RAG应用程序的人都能更加轻松地使用它。
代码可在GitHub上获取。
【GitHub】：https://github.com/tomasonjo/blogs/blob/master/llm/enhancing_rag_with_graph.ipynb
推荐书单
《LangChain大模型AI应用开发实践》
本书是一本深度探索LangChain框架及其在构建高效AI应用中所扮演角色的权威教程。本书以实战为导向，系统介绍了从LangChain基础到高级应用的全过程，旨在帮助开发者迅速掌握这一强大的工具，解锁人工智能开发的新维度。
本书内容围绕LangChain快速入门、Chain结构构建、大模型接入与优化、提示词工程、高级输出解析技术、数据检索增强（RAG）、知识库处理、智能体（agent）开发及其能力拓展等多个层面展开。通过详实的案例分析与步骤解说，读者可以学会整合如ChatGLM等顶尖大模型，运用ChromaDB进行高效的向量检索，以及设计与实现具有记忆功能和上下文感知能力的AI智能体。此外，书中还介绍了如何利用LangChain提升应用响应速度、修复模型输出错误、自定义输出解析器等实用技巧，为开发者提供了丰富的策略与工具。
本书主要面向AI开发者、数据科学家、机器学习工程师，以及对自然语言处理和人工智能应用感兴趣的中级和高级技术人员。
