llamaindex实战-Agent-在Agent中使用RAG查询(本地部署)
概述
本文说明如何在Agent中加入RAG查询引擎，这样就可以在Agent中使用外部的知识库，从而让Agent可以进行外部知识库中数据的查询，让Agent更加强大。
这种模式在很多场景下都很有用，比如：我们很多时候需要先查询或计算某个指标后，若数据或指标符合某个条件时，再通过工具函数来进行处理。该文的实验是通过llamaindex自带的一个例子来完成，我们可以通过该例子结合自己的业务来进行拓展。
本文运行的代码完全是在x86机器上，并且都是在本地部署跑通，不依赖openai的任何接口，完全免费。
实现思路
为了演示如何在Agent中使用 RAG 引擎，我们将创建一个非常简单的 RAG 查询引擎。我们的源数据将是维基百科上关于 2023 年加拿大联邦预算的页面，并已将其打印为 PDF 格式。
通过rag和agent结合，可以先从文档数据中获取到对应的数据，让后再调用tools函数，来对文档中读取到的数据进行处理。
注意：这些步骤都是大模型根据语义的理解选取合适的工具，自动执行的。而我们只需要给我们的代码指令，告诉它，我们想要什么即可。
运行环境
我的环境是一台虚拟机，没有GPU，配置如下：
cpu类型: x86
核数：16核
内存：32G
实现步骤
准备好本地嵌入模式
从huggingface或其他地方下载bge-base-en-v1.5模型的所有文件到以下目录：
/opt/models/BAAI/bge-base-en-v1.5
准备本地大模型
直接可以通过ollama来获取大模型到本地，我这里使用的是gemm2。
ollama pull gemma2
把RAG查询引擎加入到Agent工具列表中
# rag pipeline as a tool
budget_tool = QueryEngineTool.from_defaults(
query_engine,
name="canadian_budget_2023",
description="A RAG engine with some basic facts about the 2023 Canadian federal budget."
)
# 把rag查询引擎作为agent的工具，加入到agent的工具列表中
agent = ReActAgent.from_tools([multiply_tool, add_tool, budget_tool], verbose=True)
我们要查询的文档内容如下
把https://en.wikipedia.org/wiki/2023_Canadian_federal_budget保存成pdf文档，内容如上图所示，并保存到./agent_rag_data目录下。
代码实现
首先通过ollama下载大模型到本地，并下载并保存本地嵌入模型，我这里下载并使用的是：bge-base-en-v1.5模型，该模型所有的文件都保存在/opt/models/BAAI/bge-base-en-v1.5目录中。
from llama_index.core.agent import ReActAgent
from llama_index.llms.openai import OpenAI
from llama_index.core.tools import FunctionTool
from llama_index.core import SimpleDirectoryReader, VectorStoreIndex, Settings
from llama_index.core.tools import QueryEngineTool
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.ollama import Ollama
# 创建本地大模型
#Settings.llm = Ollama(model="llama3.2", request_timeout=360)
Settings.llm = Ollama(model="gemma2", request_timeout=360)
local_model = "/opt/models/BAAI/bge-base-en-v1.5"
# 创建本地嵌入大模型
Settings.embed_model = HuggingFaceEmbedding(model_name=local_model)
# 创建其他数据处理的工具函数
def multiply(a: float, b: float) -> float:
"""Multiply two numbers and returns the product"""
return a * b
multiply_tool = FunctionTool.from_defaults(fn=multiply)
def add(a: float, b: float) -> float:
"""Add two numbers and returns the sum"""
return a + b
add_tool = FunctionTool.from_defaults(fn=add)
# 构建知识库查询引擎
documents = SimpleDirectoryReader("./agent_rag_data").load_data()
index = VectorStoreIndex.from_documents(documents,show_progress=True)
query_engine = index.as_query_engine()
# test 2
# rag pipeline as a tool
budget_tool = QueryEngineTool.from_defaults(
query_engine,
name="canadian_budget_2023",
description="A RAG engine with some basic facts about the 2023 Canadian federal budget."
)
agent = ReActAgent.from_tools([multiply_tool, add_tool, budget_tool], verbose=True)
response = agent.chat("What is the total amount of the 2023 Canadian federal budget multiplied by 3? Go step by step, using a tool to do any math."
)
print(response)
通过gemm2本地大模型，输出的结果如下：
python agent_rag.py
Parsing nodes: 100%|█████████████████████████████████████████████████████████████████████████| 4/4 [00:00<00:00, 1161.94it/s]
Generating embeddings: 100%|███████████████████████████████████████████████████████████████████| 4/4 [00:01<00:00, 2.92it/s]
> Running step a8beded3-6a08-4d4d-acec-189c63f0fbf3. Step input: What is the total amount of the 2023 Canadian federal budget multiplied by 3? Go step by step, using a tool to do any math.
Thought: The current language of the user is: English. I need to use a tool to help me answer the question.
Action: canadian_budget_2023
Action Input: {'input': 'What is the total amount of the 2023 Canadian federal budget?'}
Observation: $496.9 billion
> Running step a783cc6d-ee83-4166-af2c-e2ea58333a9a. Step input: None
Thought: I need to multiply this by three.
Action: multiply
Action Input: {'a': 496.9, 'b': 3}
Observation: 1490.6999999999998
> Running step 8dfa9d5c-c729-454d-bc97-7c59beba99b2. Step input: None
Thought: I can answer without using any more tools. I'll use the user's language to answer
Answer: The total amount of the 2023 Canadian federal budget multiplied by 3 is $1,490.7 billion.
The total amount of the 2023 Canadian federal budget multiplied by 3 is $1,490.7 billion.
从以上结果可以看到，gemm2结合嵌入模型，rag模式从文档中获取到了$496.9 billion这个数据，然后再对该数据乘以3，就得到了最终要求的结果。
注意：可以使用其他大模型试一下，比如：llama3，有时候效果并不是很好，不能得到想要的答案。所以，这个还需要进一步测试和优化，才能更好的使用。
