在使用高级RAG应用时，检索后处理这一步非常关键。在这个步骤，我们可以过滤相似内容、筛选关键词或替换文本段落等。其中，Rerank（即重新排序）是一种普遍且在优化RAG应用中常用的技术。在学习rerank前，我们先来简单了解一下检索。
检索检索是一种查找和获取信息的过程。根据所使用的方法，可以将其分为几类：
向量检索：在这种检索方式中，我们将文本转化为数学上的向量（使用诸如TF-IDF、Word2Vec、BERT等方法）。然后，通过计算新查询的向量与已有向量之间的距离或相似度，找到最相关的文档。 关键词检索：这是最直观也最常用的一种检索方式，它根据用户输入的关键词来匹配和返回相关的文档。比如你在网络搜索引擎上搜索一个词，它就会返回包含这个词的网页。 混合检索：混合检索结合了向量检索和关键词检索的优点。它不仅考虑关键词的匹配，同时也考虑文本的语义相似度。这样可以提高检索的精度和效率。
在理解了以上这些基础知识后，我们可以更好地理解Rerank技术，以及它如何帮助改善高级RAG应用的检索结果。
语义检索(向量检索)
在RAG的检索阶段，主要使用了向量检索方法—一种基于语义相似度匹配的技术。先将知识库中的文档分解为完整的段落或句子，并将它们转换成计算机可以理解的数字串（即多维向量）。同样地，用户的问题也会进行这样的转换。
计算机能够精准发现问题与文字之间的语义联系，比如，“猫追老鼠”和“小猫捕猎老鼠”的关联度就会高过“猫追老鼠”与“我爱吃火腿”。找到最相关的文本后，RAG系统会把它作为问题的上下文，供大模型参考回答问题。
除了能够实现复杂语义的文本查找，向量检索还有其他的优势：
理解近似语义（如 谷歌/必应/搜索引擎） 跨语言匹配, 如输入中文匹配英文 支持多媒体形式匹配（如文本、图像、音视频等） 较强的容错性（处理拼写错误、模糊描述）。
关键字搜索
然而，正如任何技术都有其局限性一样，向量检索在某些特定场景下的表现并不尽如人意。
想象一下，当你试图搜索一个具体的人名如“马斯克”或者一个特定产品的名称，比如“iPhone 15”，你可能会发现向量检索的效果并不如预期。同样，当搜索使用缩写词（例如，“RAG”，代表“Retrieval-Augmented Generation”）时，向量检索同样可能力不从心。
这些场景下的挑战主要源于向量检索技术的核心机制。向量检索侧重于理解和匹配查询和文档内容的语义相似性，而不是进行逐字节的精确匹配。这意味着在处理需要精确匹配的查询时，向量检索可能无法提供最优结果。
反观传统的关键词搜索，在这些场景下则表现得更为出色，其原因主要有：
精确匹配：传统的关键词搜索通过直接匹配查询中的关键词和目标文档中的关键词来工作，使其在搜索具体名称、编号等信息时更为准确。 少量字符的匹配：在只有少量关键字的情况下，关键词搜索能够更快地定位到目标信息。这对于用户输入简短查询时尤其重要。
混合检索
对于大多数文本搜索的情景，首要的是确保潜在最相关结果能够出现在候选结果中。向量检索和关键词检索都有各自的优点，而混合搜索正是将向量检索和关键词检索的优点结合起来，旨在提供更加高效和准确的搜索体验。
在实现混合搜索时，我们首先需要在数据库中同时构建向量索引和关键词索引。当用户提交查询时，系统会同时启动两种检索器，分别从向量和关键词的角度去寻找最相关的文本。
混合检索能够结合不同检索技术的优势获得更好的召回结果，然而，不同检索模式的结果需要统一并归一化后才能综合考虑。为了有效进行这一步骤，我们需要引入一个重排序模型作为评分系统。
为什么要rerank在一些复杂RAG范式中，很多时候会使用多路混合检索来获取更多相关知识；这些来自不同源、不同检索算法的chunks要借助Rerank做重排 即使是完全基于向量构建的索引，由于不同的嵌入模型、相似算法、语言环境、领域知识特点等影响，其语义检索的相关度排序也可能发生较大的偏差；此时借助独立的Rerank模型做纠正也非常有意义
常用的rerank模型分为两类，在线模型和本地模型。
在线模型 - Cohere Rerank模型
Cohere Rerank 是一个由 Cohere 提供的商业化、闭源的重排序模型。这种技术可以极大地改善搜索引擎或推荐系统的结果，使其更加相关和有用。下面是如何开始使用 Cohere Rerank 的基本步骤：
1. 访问 Cohere 官网并注册
首先，你需要访问 Cohere 的官方网站：https://cohere.com/ 在网站上，你会找到注册或登录的选项。如果你还没有 Cohere 的账户，你需要创建一个新账户。
2. 申请测试的 API-key
注册并登录后，你通常需要找到API管理或API密钥管理的部分。 在这里，你可以申请一个新的 API-key，用于测试和开发目的。Cohere 会提供一定量的免费配额，供你测试其服务。
3. 集成和使用 API
一旦你拥有了 API-key，你就可以开始集成 Cohere Rerank 到你的项目中了。
4. 处理和展示结果
API 调用后，Cohere Rerank 将返回排序后的文本列表，通常是按照与查询问题的语义相关性排序的。
我们来通过官方的demo看下效果，在这之前先安装一下依赖：
pip install cohere
demo对应的python代码如下：
import cohere# 替换自己的api keyco = cohere.Client("xxx")docs = ["Carson City is the capital city of the American state of Nevada.","The Commonwealth of the Northern Mariana Islands is a group of islands in the Pacific Ocean. Its capital is Saipan.","Capitalization or capitalisation in English grammar is the use of a capital letter at the start of a word. English usage varies from capitalization in other languages.", "Washington, D.C. (also known as simply Washington or D.C., and officially as the District of Columbia) is the capital of the United States. It is a federal district.", "Capital punishment (the death penalty) has existed in the United States since beforethe United States was a country. As of 2017, capital punishment is legal in 30 of the 50 states."]response = co.rerank( model="rerank-english-v3.0", query="What is the capital of the United States?", documents=docs, top_n=len(docs))print(response)
返回结果如下：
id='ca4ddc53-c16a-442c-bd94-fd3409cbc209' results=[RerankResponseResultsItem(document=RerankResponseResultsItemDocument(text='Washington, D.C. (also known as simply Washington or D.C., and officially as the District of Columbia) is the capital of the United States. It is a federal district.'), index=3, relevance_score=0.999071), RerankResponseResultsItem(document=RerankResponseResultsItemDocument(text='Capital punishment (the death penalty) has existed in the United States since beforethe United States was a country. As of 2017, capital punishment is legal in 30 of the 50 states.'), index=4, relevance_score=0.7867867), RerankResponseResultsItem(document=RerankResponseResultsItemDocument(text='Carson City is the capital city of the American state of Nevada.'), index=0, relevance_score=0.32713068), RerankResponseResultsItem(document=RerankResponseResultsItemDocument(text='The Commonwealth of the Northern Mariana Islands is a group of islands in the Pacific Ocean. Its capital is Saipan.'), index=1, relevance_score=0.014899643), RerankResponseResultsItem(document=RerankResponseResultsItemDocument(text='Capitalization or capitalisation in English grammar is the use of a capital letter at the start of a word. English usage varies from capitalization in other languages.'), index=2, relevance_score=0.0029235429)] meta=ApiMeta(api_version=ApiMetaApiVersion(version='1', is_deprecated=None, is_experimental=None), billed_units=ApiMetaBilledUnits(input_tokens=None, output_tokens=None, search_units=1, classifications=None), tokens=None, warnings=None)
请注意，当我在运行上述代码时，我本地启用了代理。如果你不使用代理，可能会出现403 Forbidden错误，你可以尝试看看。
在langchain中，有一个对应的实现类名叫做CohereRerank。这个类可以增强普通的Retriever，也就是说，经过增强的Retriever返回的文档是经过重新排序（rerank）后的文档。代码如下：
from langchain.retrievers.contextual_compression import ContextualCompressionRetrieverfrom langchain.retrievers.document_compressors import CohereRerankfrom langchain.llms.openai import OpenAIfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import WebBaseLoaderfrom langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsurls = ["https://lilianweng.github.io/posts/2023-06-23-agent/",]docs = [WebBaseLoader(url).load() for url in urls]docs_list = [item for sublist in docs for item in sublist]text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(chunk_size=250, chunk_overlap=0)doc_splits = text_splitter.split_documents(docs_list)# Add to vectorDBvectorstore = Chroma.from_documents(documents=doc_splits,collection_name="rag-chroma",embedding=OpenAIEmbeddings(),)retriever = vectorstore.as_retriever()print("unrerank:")print(retriever.invoke("What is agent memory"))llm = OpenAI(temperature=0)# 替换自己的api keycompressor = CohereRerank(cohere_api_key="xxx", top_n=10, model="rerank-english-v3.0)compression_retriever = ContextualCompressionRetriever(base_compressor=compressor, base_retriever=retriever)compressed_docs = compression_retriever.invoke("What is agent memory")print("============================")print("rerank:")print(compressed_docs)
本地模型 - bge-reranker-large模型
bge-reranker-large是由国内智源科技开发并开源的一个广泛使用的重新排序（Rerank）模型，在多次模型测试中展现出了优秀的表现。接下来，我将演示如何在LangChain框架中使用bge-reranker-large来优化搜索结果。
from langchain.document_loaders import WebBaseLoaderfrom langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsfrom transformers import AutoModelForSequenceClassification, AutoTokenizerimport torchurls = ["https://lilianweng.github.io/posts/2023-06-23-agent/",]docs = [WebBaseLoader(url).load() for url in urls]docs_list = [item for sublist in docs for item in sublist]text_splitter = RecursiveCharacterTextSplitter.from_tiktoken_encoder(chunk_size=250, chunk_overlap=0)doc_splits = text_splitter.split_documents(docs_list)def pretty_print_docs(docs):print(f"\n{'-' * 100}\n".join([f"Document {i+1}:\n\n{d.page_content}\nMetadata: {d.metadata}"for i, d in enumerate(docs)]))# Add to vectorDBvectorstore = Chroma.from_documents(documents=doc_splits,collection_name="rag-chroma",embedding=OpenAIEmbeddings(),)retriever = vectorstore.as_retriever()# 加载分词器tokenizer = AutoTokenizer.from_pretrained("BAAI/bge-reranker-large")# 加载序列化分类的模型model = AutoModelForSequenceClassification.from_pretrained("BAAI/bge-reranker-large")# 将模型设置为评估模式用于推理而非训练model.eval()device = torch.device("cuda" if torch.cuda.is_available() else "cpu")# 模型绑定cpu或者gpumodel.to(device)def rerank(query, documents):inputs = tokenizer(list(zip([query] * len(documents),[doc.page_content for doc in documents])),padding=True,truncation=True,return_tensors='pt',max_length=512)scores = model(**inputs, return_dict=True).logits.view(-1, ).float()ranked_docs = sorted(zip(documents, scores),key=lambda x: x[1], reverse=True)return [doc for doc in ranked_docs]def handle_query(query):results = retriever.get_relevant_documents(query)reranked_results = rerank(query, results)return reranked_resultsquery = "what is agent memory?"print("unrerank:")pretty_print_docs(retriever.get_relevant_documents(query))print("=" * 50)reranked_result = handle_query(query)print("rerank:")pretty_print_docs(reranked_result)
使用AutoModelForSequenceClassification加载模型的时候会自动从Hugging Face下载模型到本地目录~/.cache/huggingface/hub, 我们也可以通过环境变量TRANSFORMERS_CACHE指定下载目录。
reorder大模型在多文档检索问题的缺陷
当我们将第一步中返回的最相似的文档进行排序后，与用户的问题一起送给大模型，实际上是想让大模型在长上下文中准确识别定位到合适的内容进行回答。
问题的关键在于，当我们将最检索得到的最相似的文档放在上下文的顶部，最不相似的文档放在底部时，大多数基于大型语言模型（Large Language Models，LLMs）表现都很差。这个研究和发现来自斯坦福大学此前的一项研究，参考：大模型如何使用长上下文信息？斯坦福大学最新论文证明，你需要将重要的信息放在输入的开始或者结尾处！[1]
这个论文里面最核心的观点就是输入数据的重要信息没有出现在开始或者结尾位置，大模型可能会出现找不到答案的情况！ 如下图所示：
上图表明在大语言模型的输入上下文中改变相关信息的位置（即回答输入问题的段落的位置）会导致一个U形性能曲线——模型更擅长使用出现在输入上下文的开头或结尾的相关信息，而当模型需要访问和使用位于输入上下文中部的信息时，性能显著下降！
因此，如果我们将检索到的最相似的文档放在上下文的顶部，最不相似的文档放在底部时，大模型的系统往往会忽略上下文中间的文档。这意味着最不相似的文档被放在了一个LLMs容易忽略的位置，从而影响了性能！
LangChain的解决方案
为了解决这个问题，LangChain提出了一种创新的方法，即在检索后重新排序文档。这种方法的关键思想是将最相似的文档放在顶部，然后将接下来的几个文档放在底部，将最不相似的文档放在中间。这样，最不相似的文档将位于LLMs通常容易迷失的位置。最重要的是，LangChain最新的LongContextReorder自动执行这个操作，使其非常便捷。
下面是一个示例代码：
reordering = LongContextReorder()reordered_docs = reordering.transform_documents(docs)
LongContextReorder重排序效果
目前，官方没有实测案例，不过官方博客说明再超过10个以上的检索结果中做这种重排序可以改善模型的输出效果。而此前论文中，测试的结果也是超过10个文档之后，文档越多，首尾内容对模型的理解能力影响越大。
rerank和reorder的"联姻"在实际应用中，我们经常会结合使用"rerank"和"reorder"技术。首先，我们采用"rerank"技术对初步排序的结果进行再排序，这样可以根据预定的标准（例如相关性或者浏览者偏好等），优化我们的排序结果。
接着，我们使用"reorder"策略，把与特定查询最相关的文档放置在供语言模型（Language Model, LLM）使用的上下文（context）的前部和尾部。这种策略的目的是将更多的关注度集中在高度相关的信息上，从而提升语言模型的效果和准确性。
通过这样的步骤，我们能够确保用户看到的搜索结果是最相关、最精确的，同时也能提高语言模型的推理质量和性能。
好了，今天的分享就先到这，下一篇文章会分享基于elasticsearch和Milvus的混合检索实战。关注点赞收藏不迷路，获取即时更新。
