基于大型语言模型 (LLM) 的聊天机器人可以通过检索增强生成 (RAG) 提供外部知识来改进。这种外部知识可以减少错误答案（幻觉），并且还可以让模型访问不属于其训练数据的信息。通过 RAG，我们可以提供 LLM 信息，例如 PDF 文档或维基百科文章，作为提示中的附加上下文。
基本RAG的问题
基本的 RAG 管道：使用编码器模型和向量数据库来有效搜索相关文档块。
然而，RAG 聊天机器人遵循数据科学的旧原则：**garbage in, garbage out。**如果文档检索失败，LLM模型就没有机会提供好的答案。
对基本 RAG 管道的改进是使用Re-Ranking。重新排序器将用户的问题和所有最初检索到的文档作为输入，并根据这些文档与问题的匹配程度对这些文档进行重新排序。
下图显示了高级两步检索 RAG 管道，使用双编码器模型进行初始候选检索，并使用交叉编码器模型进行重新排序：
两步检索
使用双编码器进行初始检索
基本的 RAG 管道依赖于矢量数据库，其中我们所有的外部知识都存储为许多文本块的句子嵌入。
给定用户查询，我们将查询转换为嵌入向量，然后在查询嵌入和所有存储的块嵌入之间执行向量相似性搜索（通常通过计算点积）。
这种类型的编码器模型也称为双编码器，它将所有输入独立地转换为嵌入向量。
RAG 系统的基本向量数据库检索：将查询嵌入与所有存储的文档嵌入进行比较。图片由作者提供
由于我们的数据库中可能有数千个文档，并且每个文档都包含许多文本块，因此这个过程需要高效且快速。
另一方面，嵌入向量是文本的压缩表示，最终导致信息丢失。
使用embedding进行相似性搜索速度很快，但不是最可靠的检索技术。
使用交叉编码器Re-Ranking
为什么我们不能直接使用k = 1000双编码器检索文档并将它们填充到提示的上下文中？
首先，上下文长度是有限的。例如，Llama 2 最多有 4,096 个token，GPT-4 最多有 8,192 个token。
其次，如果我们只是将文档塞到上下文中，它们可能会“迷失在上下文中”。因此，最佳文档匹配应该位于上下文的最开始处 [1]。
检索到的文档在上下文中的位置很重要。如果相关文档被填充在上下文中间的某个位置，它将被忽略。
这就是 re-ranking作用所在。
重新排序器的任务是估计每个候选文本与给定文本查询的相关程度的分数。与双编码器不同，交叉编码器同时处理两个输入文本对 [2]。
交叉编码器处理句子对并输出文本相似度得分。
这个想法是首先使用双编码器和嵌入相似性搜索检索候选文档。然后我们使用较慢但更准确的方法对这些文档进行重新排序。
例如，使用重新排序器，我们可以将top_k1 = 25检索到的文档块缩小到最相关的top_k2 = 3块。
实施两步检索
这里我将重点介绍Python中两步检索组件的实现。
为了激励 RAG，我向 Google 的LLM Gemma-2b-it 提出了一个没有任何有关哈利·波特背景的问题：
哈利·波特系列的第一本书最初出版于哪一天？
而LLM给了我这个错误答案，其中两个日期都不正确。
《哈利波特》系列的第一本书《哈利波特与魔法石》最初于 1997 年 9 月 26 日由布鲁姆斯伯里在英国出版，并于 1997 年 11 月 26 日在美国出版。
让我们用 RAG 来解决这个问题！
首先，使用 pip 安装所有必需的库。我在本文中使用 Python 3.10。
!pip install pypdf~=4.2.0!pip install tiktoken~=0.6.0!pip install wikipedia~=1.4.0!pip install langchain~=0.1.16!pip install torch~=2.2.2!pip install transformers~=4.40.0!pip install sentence-transformers~=2.7.0!pip install faiss-cpu~=1.8.0
在矢量数据库中存储维基百科文章
维基百科目前拥有近700万篇文章，包含超过45亿个单词。
让我们首先将维基百科的一些知识存储在矢量数据库中。
使用LangChain WikipediaLoader，我们可以查询多篇维基百科文章并将它们存储在变量中pages。
from langchain_community.document_loaders import WikipediaLoaderpages = WikipediaLoader(query="Harry Potter", load_max_docs=3, lang="en").load()
pages包含检索到的文档的列表。该属性page_content包含维基百科文章的全文，该属性source包含维基百科文章的 URL。
[Document(page_content="Harry Potter is a series of seven fantasy novels ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter>'}),Document(page_content="Harry Potter is a film series ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter_(film_series)>'}),Document(page_content="Harry Potter and the Philosopher\\'s Stone ...", 'source': '<https://en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone>'})]
完整的文章太长了，所以我们必须使用 LangChain 的文本分割器将它们分割成更小的部分。
from langchain.text_splitter import RecursiveCharacterTextSplittertext_splitter = RecursiveCharacterTextSplitter.from_huggingface_tokenizer(tokenizer=AutoTokenizer.from_pretrained("sentence-transformers/all-MiniLM-L12-v2"),chunk_size=256,chunk_overlap=16,strip_whitespace=True,)docs = text_splitter.split_documents(pages)
这将我们的 3 个文档列表减少到具有 18 个较小文档块的pages列表。docs
现在，让我们加载双编码器模型，我们将使用该模型将所有 18 个文档文本块嵌入到 384 维密集向量中。
from langchain_community.embeddingsimport HuggingFaceEmbeddingsbi_encoder = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L12-v2" , model_kwargs={"device" :"cpu" })
我们可以测试编码器模型，看看它是如何工作的：
import numpy as npembedding1 = bi_encoder.embed_query("Harry Potter")embedding2 = bi_encoder.embed_query(docs[0].page_content)print(len(embedding1))>> 384print(np.dot(embedding1, embedding2))>> 0.6636567339217812
接下来，我们创建向量数据库来存储所有嵌入。Faiss 是一个用于高效相似性搜索和密集向量聚类的库，来自 Facebook 研究。
from langchain.vectorstores import FAISSfrom langchain_community.vectorstores.utils import DistanceStrategyfaiss_db = FAISS.from_documents(docs, bi_encoder, distance_strategy=DistanceStrategy.DOT_PRODUCT)
现在我们已经将维基百科文章块存储在 Faiss 数据库中，我们可以在其中搜索新查询：
question = ("On what date was the first book in the Harry Potter series originally published?")retrieved_docs = faiss_db.similarity_search(question, k=25)
这将为我们提供前 k 个embeddings。
Re-ranking
CrossEncoder我们可以使用sentence_transformers 库中的类从 Hugging Face 加载交叉编码器模型。以下是在 MS MARCO 数据集上训练的一些交叉编码器的列表。
from sentence_transformers import CrossEncodercross_encoder = CrossEncoder("cross-encoder/ms-marco-TinyBERT-L-2-v2", max_length=512, device="cpu")
使用交叉编码器，我们可以对多个文档的查询进行评分。**分数越高，比赛越好。这是一个例子：
cross_encoder.rank(query="Do I like cats?",documents=["I like cats", "I like horses", "I like dogs"],return_documents=True,)>>[{'corpus_id': 0, 'score': 9.002287, 'text': 'I like cats'},>> {'corpus_id': 2, 'score': -6.411062, 'text': 'I like dogs'},>> {'corpus_id': 1, 'score': -9.557424, 'text': 'I like horses'}]
以下是我们如何使用该rank函数以及从 Faiss 矢量数据库检索到的文档来获取前 k 个文档：
reranked_docs = cross_encoder.rank(question,[doc.page_content for doc in retrieved_docs],top_k=3,return_documents=True,)
要提取 LLM 提示的上下文，我们需要组合text每个文档中的密钥：
context ="" .join(doc["text" ] +"\\n"for docin reranked_docs)print (context)>>《哈利·波特与魔法石》是英国作家 JK 罗琳创作的奇幻小说。第一部小说在《哈利·波特》系列和罗琳的处女作小说中，故事讲述了一位年轻的巫师哈利·波特在十一岁生日时发现了自己的魔法遗产，当时他收到了霍格沃茨魔法学校的录取通知书，哈利结交了一些亲密的朋友。在学校的第一年里，他遇到了敌人，在朋友罗恩·韦斯莱和赫敏·格兰杰的帮助下，他面临着黑巫师伏地魔的卷土重来，伏地魔杀死了哈利的父母，但在哈利只有 15 个月大时却未能杀死哈利。该书于 1997 年 6 月 26 日由 Bloomsbury 在英国首次出版，次年由 Scholastic Corporation 出版，书名为《哈利·波特与魔法石》，赢得了大部分英国图书奖。在美国由儿童和其他奖项评判。该书于 1999 年 8 月登上《纽约时报》畅销小说排行榜榜首，并在 1999 年和 2000 年的大部分时间里一直保持在该排行榜的榜首附近。它已被翻译成至少 73 种其他语言，并已被制作成改编成同名长片，以及所有六部续集。该小说已售出超过 1.2 亿册，成为有史以来第四畅销书。自第一部小说《哈利·波特与魔法石》于 1997 年 6 月 26 日发行以来，这些书籍在全球范围内获得了巨大的受欢迎程度、好评和商业成功。它们吸引了广泛的成年读者和年轻读者，并被广泛认为是现代文学的基石。截至 2023 年 2 月，这些书在全球已售出超过 6 亿册，成为历史上最畅销的系列丛书，并有 85 种语言版本。后四本书连续创下历史上最畅销书籍的记录，最后一期在发行后 24 小时内在英国售出约 270 万册，在美国售出 830 万册。原七本书被华纳兄弟影业改编成八集同名电影系列。2016 年，《哈利·波特》系列的总价值估计为 250 亿美元，使《哈利·波特》成为有史以来票房收入最高的媒体系列之一。《哈利·波特与被诅咒的孩子》是根据罗琳合写的故事改编的戏剧。”
最后，我们可以向 Gemma-2b-it 提问，同时context在提示中包含额外的 Wikipedia RAG。现在我们得到了正确的答案：
哈利·波特系列的第一本书《哈利·波特与魔法石》最初由 Bloomsbury 于 1997 年 6 月 26 日出版。
为了更好的可追溯性，我们可以访问前 k 个重新排序的文档的元数据：
print ("对于这个答案，我使用了以下文档：" )for docin reranked_docs:corpus_id = doc["corpus_id" ]print (f"Chunk{corpus_id} from '{retrieved_docs[corpus_id].metadata['title' ]} ' (URL:{retrieved_docs[corpus_id].metadata['source' ]} )")>>"对于这个答案，我使用了以下文档：《哈利·波特与魔法石》中的块 4 (URL: https:// en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone)来自“哈利·波特与魔法石”的块 3 (URL: <https://en.wikipedia.org/wiki/Harry_Potter_and_the_Philosopher%27s_Stone>)来自“哈利·波特”的块 0 (网址：<https://en.wikipedia.org/wiki/Harry_Potter）”>使用第一个 URL，我们可以对 LLM 进行事实检查，并发现 1997 年 6 月 26 日是正确的日期。
对于本文顶部的聊天机器人图像，我只需将WikipediaLoader和跨编码器模型添加到我已经存在的 RAG LLM 聊天机器人中即可获得reranked_docs。
基本的 RAG 系统使用嵌入向量数据库来检索类似于用户查询的文本文档。向量相似度搜索非常快，但它没有最好的准确性，因为将文本嵌入到密集向量中最终会导致信息丢失。使用交叉编码器模型对检索到的文档重新排序的两步检索管道增加了找到最佳匹配的机会。
在本文中，我演示了如何使用维基百科的外部知识通过 Python 中的本地两阶段检索 RAG 系统来回答问题
