一、检索前优化
（一）数据索引改进
- 滑动窗口技术
传统的文本分块方式可能存在问题，当块过大时会遗漏重要细节，过小时则会丢失上下文信息。滑动窗口技术采用重叠窗口来解决这一问题，通过确保相邻块之间共享上下文，能够更好地捕捉文本中的关系。例如，对于一篇 500 字的文档，若设定块大小为 150 字，50 字的重叠部分可使后续块与前一块保持连贯的语境。
- 数据粒度增强
- 数据粒度指的是数据的详细程度。过细的数据（如单个单词）可能失去意义，而过粗的数据（如整段文字）可能降低检索精度。因此，需要对数据进行适当的清洗和结构化，以确保其既精确又可用。这包括去除无关信息（如噪声、过时的事实或冗余数据），以及将复杂文档分解为有意义的部分（如章节或逻辑部分）。
- 元数据添加
- 元数据作为额外的描述符，有助于检索系统过滤和排名结果。为数据库中的每条记录添加元数据（如时间戳、类别或源作者身份），可以使得检索更加精确和有针对性。例如，对于研究论文数据库，可以根据出版年份或领域特定的标签来过滤结果。
- 索引结构优化
- 索引结构直接影响数据的存储和访问方式。不合理的索引结构可能导致检索速度缓慢或结果不相关。因此，需要优化索引结构以提高检索效率。这包括调整块大小以平衡上下文和粒度，以及使用多索引策略为特定内容类型或元数据创建不同的索引。
- 查询路由
将查询引导至最相关的数据子集或索引，能有效缩小检索范围，提高效率。在多语言数据集中，根据检测到的语言进行查询路由，可确保更快、更准确地获取结果。 - 查询重写
用户查询可能存在表述模糊或与索引数据不匹配的情况。查询重写技术通过同义词替换、调整问题表述等方式，使查询与数据结构更好地对齐。例如，将 “laptop” 重写为 “notebook”，或重新表述问题以匹配索引中的关键词和短语。 - 查询扩展
通过添加相关术语或同义词来扩展查询，可在不牺牲精度的前提下提高召回率。利用领域特定的词库或嵌入技术识别相关术语，并根据查询上下文动态调整扩展内容。 优化数据索引和查询结构，确保系统检索到高质量、上下文相关的信息，提高检索效率，进而提升 RAG 系统（RAG综述：探索检索增强生成技术的多样性与代码实践）输出的整体质量。 - 微调嵌入模型
预训练的嵌入模型（构建非英文RAG（Retrieval-Augmented Generation）系统时，embedding很重要）在特定领域数据上进行微调，能够捕捉目标领域的细微差别。在法律、医学、金融等专业领域，通用嵌入模型可能无法区分语义差异，而微调后的模型能更好地检索相关案例、法规、医学文献等。 - 动态嵌入技术
词语和短语的含义常因上下文而异，动态嵌入技术可根据查询或文档上下文调整嵌入，确保准确的语义关系。例如，“bank” 在金融和河流语境下将有不同的嵌入表示，从而检索到正确的文档。 - 向量与关键词搜索结合
向量搜索擅长语义检索，但可能错过精确匹配；关键词搜索则能确保关键术语的精确性。将两者结合可提高检索准确性。在客户服务场景中，对于 “如何重置我的密码” 的查询，结合向量搜索和 “密码重置” 的精确关键词匹配，能提供更相关的回复。 - 语义和基于句法的分块
基于语义或句法将文本划分为有意义的部分，可在检索时实现更好的匹配。语义分块（LLM在文本切块中的应用与实践）根据句子含义分组，句法分块则利用标点或连词等语言线索进行文本分割。 - 迭代检索
系统通过多次检索步骤，根据初始结果重新排序或修改查询，逐步筛选出最相关信息。例如，初始查询获取广泛文档集，然后根据相关性得分重新排序，保留最相关部分。 - 基于反馈的检索
利用用户或模型在早期检索（HyDE（Hypothetical Document Embeddings）：探索假设性文档嵌入在AI检索中的应用）步骤中的反馈动态调整搜索过程，增强系统适应性和准确性。在电子商务中，用户点击产品结果表明其相关性，可用于改进后续推荐。 - 相关性评分
为每个检索到的文档分配与查询的对齐优先级，确保最相关信息优先。采用余弦相似度等相似性度量方法评估向量嵌入，并结合出版日期、领域等元数据动态调整得分。例如，关于 “气候变化影响” 的查询，会优先考虑近期研究论文。 - 上下文过滤
语言模型上下文窗口有限，去除不相关或冗余信息可提高回复质量。采用去重技术删除重复或过于相似结果，并利用领域特定过滤器排除无关数据。如在 “密码重置” 查询中，过滤掉 “账户注册” 等无关内容。 - 提示工程
精心设计提供给语言模型的输入格式和内容，引导其生成期望的输出。通过添加明确指令（如 “用三个要点总结”）和示例来规范回复格式，提高回复的准确性、语气和相关性。 - 上下文提炼
从检索到的文档中提取关键信息，确保简洁和相关性。利用总结模型将大段文本浓缩为要点，并突出与查询直接相关的实体、日期和事实。例如在医学查询中，从冗长研究文章中提取症状、诊断和治疗细节。 检索后优化对检索到的数据进行微调，使其在生成阶段发挥最大效用。通过重新排序结果、过滤无关内容、设计有效提示和提炼关键信息，确保 RAG 管道生成高质量、上下文准确的回复。
