一、背景介绍
1. 文档检索系统的现状与痛点
文档长度过长：现代文档往往包含大量信息，例如企业的内部报告、法律文书、科研论文等。如果直接将长文档嵌入到向量空间中进行检索，容易出现信息冗余，甚至降低检索的效率和精度。
检索精度不高：许多文档检索系统在面对较长的文档时难以精准匹配用户的查询。这种情况下，用户的查询结果往往与其期望值有偏差，尤其是在查询较短且具体时，直接检索长文档难以提供理想的答案。
上下文连贯性差：为了提高检索精度，系统可能会将文档细分为更小的块。然而，这种做法往往会牺牲上下文的连贯性，导致用户在获得片段化信息时无法完整理解文档的内容。
二、技术原理
1. 文档分割
Parent Chunks 分割：首先，将文档分割成较大的文本块，称为 Parent Chunks。每个 Parent Chunk 代表文档中的一个较大部分，通常包含多个段落或章节，大小可根据需求进行调整，常见设定为 2000 个字符左右。通过这样的分割，系统能够在保证上下文连贯性的同时，保持信息的整体性。
Child Chunks 分割：每个 Parent Chunk 进一步细分为更小的块，称为 Child Chunks。每个 Child Chunk 通常包含一个段落或几句话，大小同样可以根据需求设定，一般为 400 个字符。这一分割方式既能保留 Parent Chunk 的上下文关系，又能提高检索的精度。
2. 向量嵌入
Child Chunks 嵌入：使用预训练的模型（例如 BERT、GPT 等）将每个 Child Chunk 转换为向量。这些向量代表了文本块的语义信息，可以通过向量检索算法来进行比对和匹配。
保持关联关系：Child Chunks 与其对应的 Parent Chunk 保持关联，在后续的检索过程中可以对 Parent Chunk 进行合并，确保用户获取的信息上下文连贯。这种多层次分割结构不仅提高了检索的精度，还能保持文档整体的连贯性。
3. 检索过程
Query 嵌入：用户的查询被转换为向量形式，并与存储在数据库中的 Child Chunk 向量进行匹配。
Child Chunks 搜索：在向量数据库中搜索与查询向量相似的 Child Chunks。通过这种方式，系统能够精准匹配用户的查询，尤其是在短查询的情况下，Child Chunk 的检索精度更高。
Parent Chunks 确定：根据检索到的 Child Chunks，系统可以快速定位这些子块所属的 Parent Chunks，确保用户能够获得与查询上下文相关的完整信息。
4. 结果合并
合并 Parent Chunks：当检索结果返回多个相关的 Child Chunks 时，系统会自动合并这些子块对应的 Parent Chunks，形成一个完整的文档部分。
排序和过滤：为了确保用户获得最相关的结果，系统会对返回的 Parent Chunks 进行排序和过滤，以保证用户看到的内容是最符合其查询需求的。
三、应用场景
1. 电子商务搜索
2. 知识库检索
3. 法律和医疗文献检索
4. 问答系统
四、具体步骤详解
from langchain.text_splitter import RecursiveCharacterTextSplitterfrom langchain_community.document_loaders import TextLoader# 加载文档loaders = [TextLoader("example_data/FDR_State_of_Union_1944.txt"),TextLoader("example_data/Lincoln_State_of_Union_1862.txt"),]docs = []for loader in loaders:docs.extend(loader.load())# 创建Parent Chunksparent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)# 创建Child Chunkschild_splitter = RecursiveCharacterTextSplitter(chunk_size=400)
2. 向量嵌入
from langchain_community.vectorstores import Chromafrom langchain_openai import OpenAIEmbeddingsfrom langchain.storage import InMemoryStore# 创建向量存储vectorstore = Chroma(collection_name="split_parents", embedding_function=OpenAIEmbeddings())# 创建存储层store = InMemoryStore()# 创建检索器retriever = ParentDocumentRetriever(vectorstore=vectorstore,docstore=store,child_splitter=child_splitter,parent_splitter=parent_splitter,)# 添加文档retriever.add_documents(docs)
# 获取存储的文档数量print(len(list(store.yield_keys())))# 搜索相似的Child Chunkssub_docs = vectorstore.similarity_search("justice breyer")print(sub_docs[0].page_content)# 获取相关的Parent Chunksretrieved_docs = retriever.get_relevant_documents("justice breyer")print(len(retrieved_docs[0].page_content))
