随着大语言模型（LLMs）的发展，模型已经能够理解大量数据并进行逻辑推理。这些发展带来的最重要成果之一是检索增强生成（Retrieval-Augmented Generation，简称RAG）系统。
LLMs 在非常大的数据集上进行训练，但它们受限于训练数据的范围。
假设您拥有一家公司，并有一些政策文档。为了让员工找到正确的答案，他们要么需要非常熟悉这些文档，要么需要在文档中搜索答案。您希望通过一个聊天机器人简化这个系统。随着 LLMs 的发展，您可以使用它们，但 LLM 并不了解您的公司数据。当您询问与这些主题相关的问题时，LLM 很可能会出现“幻觉”（hallucinate）。您需要通过微调（fine-tuning）来教导模型您的数据，这是一个漫长且昂贵的过程，或者您可以使用 RAG 系统。得益于 RAG 系统，LLM 可以在您的文档中搜索，并根据这些文档提供答案。
听起来很棒，对吧？当然，事情并非那么简单。传统 RAG 系统根据用户查询检索相关文档或信息片段，并将这些信息传递给 LLM 以生成答案。然而，这种方法对于复杂的信息需求或模糊的查询可能不足以应对。这就是“代理RAG”（Agentic RAG）概念的用武之地。
代理RAG 是一种高级系统，它在传统 RAG 系统的基础上增加了自主决策、规划和自我评估能力，使信息检索过程更加智能和灵活。这些系统可以重新表述用户的查询，评估不同的信息来源，并衡量自身答案的准确性和质量。
在本文中，我们将通过一个代理RAG系统的示例，展示如何基于特定文章为用户的问题提供全面且准确的答案。在我们的示例中，我们使用 OpenAI 的 GPT-4 模型，它能够理解给定的文章，在必要时进行网络搜索，重新表述查询并评估自己的答案。我准备这个示例是为了让大家对代理RAG 有一些概念和方法的了解。它可以进一步改进或添加不同的方法。
RAG 系统基础
检索增强生成（RAG）是一种方法，允许 LLMs 访问除训练数据之外的其他信息来源。传统 RAG 系统由三个基本组件组成：
•检索器（Retriever）：根据用户查询从数据库中检索相关文档或信息片段的组件。•生成器（Generator）：通常是一个 LLM，使用检索到的文档和用户查询生成答案。•索引器（Indexer）：预处理文档并将它们存储在向量数据库中以实现高效访问。
传统 RAG 系统的局限性
正如我们在开头提到的，RAG 系统有许多优点和缺点：
•它们直接使用用户的查询，无法进行改进，因此可能难以获得答案。•对于复杂问题可能表现不足。•无法控制生成答案的质量或准确性。
代理（Agents）基础
代理是能够自主决策、执行这些决策并评估其正确性的系统。
•它们可以自主决策。•它们可以进行规划。•它们可以为不同任务使用不同的工具，并选择使用哪些工具。•它们逐步解决问题，并在必要时可以改变策略。
代理RAG 基础
代理RAG 使用代理来消除传统 RAG 系统的局限性。
•更准确的答案：通过多次验证和自我评估，降低幻觉风险。•全面的信息访问：通过结合不同来源和策略，访问更全面的信息。•适应性：根据用户查询的质量或复杂性调整方法。•透明度：能够清晰说明思考过程和信息来源。
实践项目
在之前的章节中，我们讨论了代理RAG的基础。现在是时候将它们付诸实践了。
系统架构
•LLM 引擎：基于 GPT-4 的语言模型。•文档访问链：从文章数据库中检索相关内容的 RetrievalQA 链。•网络搜索工具：使用 Tavily API 执行网络搜索的组件。•查询重新表述模块：将模糊查询变得更具体的函数。•自我评估机制：评估生成答案质量的模块。•代理协调器：协调不同工具使用的 LangChain 代理。•内存系统：存储对话历史的 ConversationBufferMemory。
数据准备与索引
首先，让我们导入将使用的所有库。
import fitzfrom langchain.embeddings importOpenAIEmbeddingsfrom langchain.vectorstores import FAISSfrom langchain.text_splitter importRecursiveCharacterTextSplitterfrom langchain.tools importToolfrom langchain.chains importRetrievalQAfrom langchain.chat_models importChatOpenAIfrom langchain.agents import initialize_agent,Tool,AgentTypefrom langchain_community.tools.tavily_search importTavilySearchResultsfrom langchain.memory importConversationBufferMemoryimport osos.environ["TAVILY_API_KEY"]="your-api-key"
我们代理RAG 示例的基础是一个准确且高效的数据准备和索引过程。此过程包括处理、分割和将我们的 PDF 文章转换为向量数据库。
首先，我们将使用 PyMuPDF 库从 PDF 格式文档中提取内容。
def extract_text_from_pdf(pdf_path):doc = fitz.open(pdf_path)text ="\n".join([page.get_text()for page in doc])return texttext = extract_text_from_pdf("pdf_files/article_2.pdf")
此函数提取并合并给定 PDF 文件所有页面中的文本。
PDF 中的文本可能非常长，整体处理如此长的数据效率低下。因此，我们使用 LangChain 的 RecursiveCharacterTextSplitter 类将文本分割成更小、更易管理的片段：
text_splitter =RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)docs = text_splitter.create_documents([text])
这里：
•chunk_size=500：确保每个文本片段最多包含 500 个字符。•chunk_overlap=50：通过确保连续部分之间有 50 个字符的重叠，防止因分割句子或段落而丢失意义。
我们还使用 OpenAIEmbeddings() 类将文本转换为嵌入（embeddings）。
embeddings =OpenAIEmbeddings()
在完成所有这些步骤后，我们通过将每个文本片段转换为向量表示，创建了 FAISS 向量数据库，以便高效查询分段文本：
vectorstore = FAISS.from_documents(docs, embeddings)vectorstore.save_local("faiss_index")FAISS（Facebook AI Similarity Search）是一个为高维向量执行高效相似性搜索设计的库。
在应用程序运行时，我们按如下方式加载之前创建的 FAISS 索引：
vectorstore = FAISS.load_local("faiss_index", embeddings, allow_dangerous_deserialization=True)retriever = vectorstore.as_retriever()通过将加载的向量数据库转换为检索器对象，我们可以高效地找到与用户查询相关的文本片段。
这个数据准备和索引过程构成了我们代理RAG 系统的信息检索基础。
代理RAG
首先，我们初始化所选的 LLM 模型。在我们的示例中，它是 GPT-4。
llm =ChatOpenAI(model="gpt-4")
接下来，我们需要创建 RetrievalQA 链以便从文章数据库中检索信息。
retrieval_qa_chain =RetrievalQA.from_chain_type( llm=llm, retriever=retriever, return_source_documents=True)
此链接受用户查询，提取相关文档，并通过 LLM 生成响应。
我们还使用 TavilySearchResults 来搜索文章中未找到的信息。此工具与 Tavily API 集成，每个查询返回两个最相关的结果。为此，您必须先访问 Tavily 网站，创建账户并获取 API 密钥，否则会报错。
search =TavilySearchResults(max_results=2)
接下来，我们添加一个自定义函数，用于重写模糊或笼统的输入，使其更具体。
def query_reformulation(query): response = llm.predict("Rewrite this query to be more specific: "+ query)return response此函数向 LLM 发送请求以优化查询。例如，它可以将像“什么是人工智能？”这样的笼统查询转换为更具体的查询，如“文章中描述的人工智能技术的主要特点和应用是什么？”
我们还有另一个函数，用于让系统评估其生成的答案。
def self_evaluate(input_text):parts = input_text.split("|||")query = parts[0]response = parts[1]sources = parts[2]if len(parts)>2else""evaluation_prompt = f"""评估以下对查询的响应：查询：{query}响应：{response}来源：{sources}基于以下标准评估：1.事实准确性（是否与来源匹配？）2.完整性（是否涵盖查询的所有方面？）3.相关性（信息是否与查询相关？）4.幻觉（是否包含来源不支持的信息？）返回0-10的置信度评分和解释。"""evaluation = llm.predict(evaluation_prompt)return evaluation
此函数评估答案的准确性、全面性、相关性和幻觉情况。评估包括 0-10 的置信度评分和解释。
现在我们已经定义了所有函数，可以将工具整合在一起。
tools =[Tool(name="Article Retrieval",func=lambda q: retrieval_qa_chain({"query": q})["result"],description="从文章数据库中检索知识。"),Tool(name="Web search",func=search,description="如果在文档中找不到请求的信息，则说明这一点并执行网络搜索。"),Tool(name="Query reformulation",func=query_reformulation,description="将查询重新表述为更具体和针对性更强的形式。")]
我们的工具包括文章检索、网络搜索和查询重新表述。代理将决定在何种情况下使用哪种工具。
我们还从 LangChain 库中添加了 ConversationBufferMemory，以保存与用户的聊天历史。
memory =ConversationBufferMemory(memory_key="chat_history", return_messages=True)
现在我们已经创建了所有组件，是时候启动代理了。
agent = initialize_agent( tools=tools, llm=llm, agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION, verbose=True, memory=memory)
这里的代理类型 STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION 创建了一个能够逐步推理并根据情况使用工具的代理。
现在是运行代理的时候了。为此，我们编写了一个可用于自我评估的函数。
def get_evaluated_response(query):response = agent.run(query)try:result = retrieval_qa_chain({"query": query})sources =[doc.page_content for doc in result.get("source_documents",[])]sources_text ="\n".join(sources)exceptExceptionas e:sources_text ="无可用来源"evaluation = self_evaluate(f"{query}|||{response}|||{sources_text}")return{"query": query,"response": response,"evaluation": evaluation,"sources": sources_text}
此函数获取代理的响应并进行评估，然后返回结果。
我们可以通过以下函数查看自我评估的响应和代理的响应。
def transparent_response(query):result = get_evaluated_response(query)return f"""响应：{result['response']}置信度评估：{result['evaluation']}"""
现在让我们试一试。
我给出的文章是一篇关于多代理系统的调查。
print(transparent_response("什么是多代理系统？"))当我们如上运行系统时，会得到以下输出。由于输出内容太长，我无法在这里展示所有内容，但代理理解了需要从文章中回答我们的问题，并为此使用了“Article Retrieval”工具。然后，它为我们创建了一个最终答案。自我评估对生成的结果进行了评估，并给出了 9.75 分（满分 10 分）。
让我们尝试一个文章中没有的例子。
print(transparent_response("伊斯坦布尔当前的天气如何？"))正如您所见，这次代理理解了需要使用网络工具，并从中为我们带来了答案。但由于未共享资源，我们的置信度评分较低。这是需要优化的部分。
现在让我们问一些 LLM 已经知道的内容。
print(transparent_response("YouTube 是什么时候创立的？"))
系统告诉我们它已经知道这个信息，并直接给出了答案，无需使用任何工具。我们的置信度评分相当高。
最后一个例子是尝试查询重新表述。为此，我输入了一个非常模糊的内容。
print(transparent_response("烤蛋糕"))
代理通过重写输入使其更高效，然后使用网络搜索工具。
