发布时间：2024 年 08 月 16 日
RAG
Meta Knowledge for Retrieval Augmented Large Language Models
RAG 技术通过增强 LLM 的上下文相关信息，提升了其处理时效性和领域特定问题的能力，但构建高效综合多样化文档信息的 RAG 系统仍具挑战。我们创新性地将传统“检索-阅读”流程升级为“准备-重写-检索-阅读”框架，通过生成元数据和合成问答，以及引入元知识摘要，实现了对知识库的专家级理解。研究显示，增强查询在性能上显著超越传统 RAG 方法，且元知识查询进一步提升了检索和答案质量。该方法成本低廉，适应性强，为 RAG 流程的性能提升开辟了新路径。
https://arxiv.org/pdf/2408.09017
如无法加入，请+vx： iamxxn886
1. 引言
检索增强生成（Retrieval Augmented Generation，RAG）已经成为一项大语言模型应用领域的标准技术，通过整合与上下文相关、时效性强、或领域知识，并且在不需要改变模型权重的前提下生成用户想要的正确答案。
RAG在领域知识、即时数据等知识密集型任务特别有效，已成为减少模型幻觉的有效解决方案。
但在实际运用中，RAG存在如下几个问题：
• 首先，知识库文档可能包含大量噪声，无论是知识库内容的噪音，还是由于文档之间缺乏标准化（来自各种文档布局或格式，如.pdf、.ppt、.docx 等）。
• 其次，通常很少或根本没有人工标注的信息或相关性标签来支持文档分块、嵌入和检索过程，使得整个检索问题在很大程度上属于无监督方法，且难以针对特定用户进行个性化处理。
• 第三，对长文档进行分块无法保留整个文档的语义上下文，而且块越大，为进一步检索保留的块的上下文就越不精确。导致对于给定的用例，文档分块策略的选择并非易事，尽管由于可能存在大量信息丢失，这对于后续步骤的质量至关重要。
• 第四，用户查询通常较短、模糊，可能存在词汇不匹配，或者复杂到需要多个文档才能解决，这使得准确捕捉用户意图并随后识别出最合适的待检索文档通常较为困难。
• 最后，无法保证相关信息局限于知识库中，而是可能分布在多个文档里。这种跨知识库的高级推理仍未得到有效解决。
这篇论文，作者专注于需要跨文档进行高级推理的情况（例如：“将机器学习应用于营销有哪些挑战？”）。
为此，作者引入了一种新的以数据为中心的 RAG 工作流程，即“准备（Prepare）-然后-重写（rewrite）-然后-检索（retrieve）-然后-读取（read）”（PR3），其中每个文档都由 LLM 处理，以创建针对用户特征定制的自定义元数据和问答对，通过查询增强解锁新的知识库推理能力。
通过引入基于元数据的问答集群和元知识摘要，新框架将初始用户查询增强为多个专用查询，从而提高了知识库搜索的特异性、广度和深度（如上图）。
新框架融合了从文档集合生成问答以对大型语言模型（LLM）进行下游微调的方法理念，以及借助查询增强来提升 RAG 管道中检索器性能的技术。
1.1 通过微调实现 RAG 增强
基于微调改进 RAG 管道的方法需要精心的数据清理和（往往是人工的）管理，以及在训练超参数集上的人工迭代，以让模型适应对应任务，同时避免对预训练模型知识的灾难性遗忘。
此外，对于频繁的知识库更新，模型调整可能难以持续，并且由于对计算资源的潜在需求，通常成本更高，尽管近来出现了参数高效微调（PEFT）技术。
在电子商务检索框架中，淘宝基于公司日志和拒绝采样创建了一个查询重写框架，以有监督的方式微调大型语言模型，且不生成问答。
淘宝还引入了一种新的对比学习方法来校准查询生成概率，使其与期望的搜索结果相符，从而大幅提高了商品数量、交易数量和独立访客数量。
作为替代方案，基于黑箱大型语言模型评估的强化学习方法也被用于训练较小的查询重写大型语言模型，在网络搜索中的开放域和多项选择题问答（QA）中展现出了一致的性能提升。
然而，基于强化学习的方法在训练阶段更易不稳定，并且需要仔细探究下游任务之间在泛化和专业化方面的权衡。
近期，已开发出其他类型的方法来提升端到端管道性能，例如 RAFT，它专门训练一个阅读器来区分相关和不相关的文档，或者 QUILL，使用 RAG 增强的蒸馏训练另一个大型语言模型来完全取代 RAG 管道。
1.2 无需微调的 RAG 增强
作为微调大型语言模型替代方案，开发了查询增强方法，通过转换用户查询的来提高检索器的性能。这些方法可进一步分为两类：
• 利用对文档的检索传递
• 要么零样本（没有任何示例文档）
在零样本方法中，HyDE 引入了一种数据增强方法，借助大型语言模型为用户查询生成假设响应文档。在嵌入空间中拉近用户查询与感兴趣的文档，从而提升检索过程的性能。
实验表明，在各种任务中，性能与微调后的检索器相当。
然而，生成的文档从某种意义上讲是一种简单的数据增强，在多种情况下可能导致性能下降，因为生成的内容与知识库之间可能存在差距。
2. 方法
在上述所提及的两种 RAG 管道增强方式中，尽管历经了初始的检索流程，但检索器通常对目标文档集合的分布情况并不知晓。
在新框架里，针对每一份文档以及在进行推理之前，都会创建一组专门的元数据，接着运用 Claude 3 Haiku 的思维链（CoT）提示来生成跨文档的引导式问答。
对于任何与用户相关的元数据组合，借助 Claude 3 Sonnet 来创建一个元知识摘要（Meta Knowledge Summary，MK 摘要），涵盖了针对给定过滤器在数据库中可用的关键概念的总结。
在推理时，依据感兴趣的元数据，凭借个性化的 MK 摘要对用户查询进行动态扩充，从而为该用户提供量身定制的回应。通过这样的操作，使得检索器有了跨文档推理的能力，否则则需要多个检索和推理轮次。
借助定制化搜索以及利用元知识信息在数据库中开展复杂推理，最终在深度、覆盖范围和相关性等多个指标上提升端到端检索管道的质量。
并且，新方法并不依赖于任何模型权重的更新，并且能够很好地与针对语言模型在任何领域的微调相结合，以进一步优化端到端 RAG 管道的性能。
2.1. 数据集
公共基准用例涵盖了通过 arXiv API 整理的 2024 年的 2000 篇研究论文的数据集。此数据集代表了统计学、机器学习、人工智能和计量经济学等领域的多元化研究成果。
2.2. 合成问答生成
首先，对于每一份文档，运用 CoT 提示生成一组元数据以及后续的问答（如下图）。
该提示的目的是将文档分类到预定义的类别集合（比如论文基准数据集中的研究领域或应用类型），从而创建元数据列表。
依靠这些元数据，通过师生提示生成一组合成的问题和答案，并评估学生对于文档的知识掌握情况。
生成的元数据既充当增强搜索的过滤参数，又以元知识信息（MK 摘要）的形式被选用于用户查询的扩充。
此外，合成问答（示例如下图）用于检索，但只有问题被向量化以用于下游检索。
-- Question #1: "What are the researchers’ conjectures about why the future narrative prompting approach seemed to unlock improved predictive capabilities in ChatGPT-4 compared to direct prompting?"
-- Answer #1: "The researchers conjecture that the narrative prompting approach may leverage ChatGPT-4’s capacity for "hallucinatory" narrative construction, allowing it to more effectively synthesize and extrapolate from its training data to make more accurate predictions, compared to the direct prompting approach. This suggests the models’ creative abilities can be strategically utilized for predictive tasks."
-- Question #2: "How does the distribution of preference datasets influence the rate of model updates and the training accuracy when using the Direct Preference Optimization (DPO) objective? What are the implications for practical alignment approaches?"
-- Answer #2: "The paper provides theoretical analysis showing that the distribution of preference datasets, characterized by "preference distinguishability", has a strong influence on the rate of model updates and training accuracy under the DPO objective. Behaviors with higher distinguishability exhibit faster loss reduction and parameter updates. This can lead to an intricate prioritization effect, where DPO tends to prioritize learning behaviors with higher distinguishability, potentially deprioritizing less distinguishable but crucial behaviors."
使用 e5-mistral-7b-instruct 在问题的嵌入空间上进行层次聚类，对文档中生成的问答的冗余性进行分析，但由于问答的重叠率较低，并未对生成的问答进行去重。
2.3. 元知识摘要的生成
对于给定的元数据组合，创建一个元知识摘要（MK 摘要），为给定用户查询的数据扩充阶段提供支持。
对于论文这个案例，将元数据限定在文档处理阶段由 Claude 3 Haiku 所识别的特定研究领域（如强化学习、有监督与无监督学习、贝叶斯方法、计量经济学等）。
2.4. 查询和检索的增强生成
针对特定的元数据组合，构建了元知识摘要（MK Summary），用于特定用户查询的数据增强阶段。
在论文这个案例中，将元数据限定于文档处理阶段由Claude 3 Haiku识别的特定研究领域，如强化学习、监督与非监督学习、贝叶斯方法、计量经济学等。
利用Claude 3 Sonnet对带有相关元数据标签的一系列问题进行概念性总结，从而生成MK摘要。未来研究的一个潜在方向是调整提示词优化摘要生成效果，以期达到更佳的适配度。
3. 效果如何
3.1 评估指标
在没有相关性标签的情况下，将 Claude 3 Sonnet 当作可信的评估者，来对比所考虑的全部四种基准方法的性能：
• Naïve Search with Chunking：没有任何查询增强的传统分块
• Augmented Search with Chunking：带有朴素查询增强的传统文档分块
• Augmented QA Search：运用 PR3 管道但不使用 MK 摘要的增强搜索
• MK-Augmented QA Search：使用PR3 管道并带有 MK 摘要的增强搜索
测评指标：
• 召回率（Recall）：评估检索所得文档中包含的关键、高度相关信息的覆盖程度
• 精度（Precision）：评估相关文档与无关文档的比例
• 特异性（Specificity）：评估最终答案对手头查询的专注程度，是否具备清晰直接的信息来解决问题
• 广度（Breadth）：评估与问题相关的所有相关方面或领域的涵盖范围，提供完整的概览
• 深度（Depth）：评估最终答案通过详细分析和对主题的洞察提供深入理解的程度
• 相关性（Relevancy）：评估最终答案对受众或上下文的需求和兴趣的契合程度，着重于提供直接适用和必要的信息，同时省略对解决特定问题无益的无关细节
3.2 测评结果
针对生成的每一个合成用户查询，每种方法检索到的上下文及其最终答案进行比较。
使用Claude 3 Sonnet对各项指标进行0至100分的评分，并附上理由文本。将所有查询所得的指标进行平均，如下图。
发现，在所有指标上，新框架均有显著提升，唯独两种基于问答（QA）的方法（即：Augmented QA Search和MK-Augmented QA Search）在检索文档的精确度上未见明显改善。这说明很少有文档完全不相关。
在广度和深度都有显著的性能提升，表明MK摘要提供了额外信息，这些信息在查询增强步骤中得到了有效利用。
MK摘要对搜索条件的贡献在所有指标上都显示出统计学上的显著性，除了检索器的精确度（Augmented QA Search和MK-Augmented QA Search之间的p值<0.01）。
新框架显著扩展了搜索的广度（与传统的朴素搜索方法相比，提高了20%以上），与直觉一致，即更有效地从数据库内容中综合信息，并更广泛地利用这些内容。
4. 结论
一种全新的数据中心型 RAG 工作流程，借助合成的问答生成取代了传统的文档分块框架，采用了基于文档内容元数据聚类的高级摘要的查询增强方式，以此提升端到端 LLM 增强管道的精准度与质量。
明显优于依赖文档分块和简单用户查询增强的传统 RAG 管道。
引入了 MK 摘要的概念，推动了知识库中的零样本搜索增强，从而在测试案例中提高了端到端 RAG 管道的性能。
从本质上讲，新方法改进了文档编码向量空间中的简单语义匹配信息检索，能够进行更多样但高度相关的文档搜索，进而为用户的查询提供了更全面、具备领域专家水平且综合性更强的答案。
在所有考虑的指标，包括召回率、精度、特异性、广度、深度和相关性方面，所提出的方法都超越了最先进的成果。
