RAG智能问答系统为什么要使用混合检索？（完整版）

检索增强生成简称RAG（Retrieval-augmented Generation），RAG为大语言模型安装了知识外挂，基础大语言模型不用训练，通过RAG技术与大语言模型结合在回答问题的时候，可以通过企业内部的知识库检索相关和最新的信息来生成内容，从而提高了回答问题的准确性、实时性和关联性。

基于语义的向量检索

• 容错性：处理模糊描述、拼写错误；
• 多模态理解：支持文本、图像、音视频等相似匹配；
• 多语言理解：跨语言理解，如输入中文匹配英文；
• 相似语义理解；

• 搜索一个人或者一个物体的名字；
• 搜索缩写词或者短语；
• 搜索ID等场景而这些场景恰恰是传统关键词搜索的优势所在，传统的关键词搜索的优势在于精准搜索、少量字符匹配等方面。

关键词检索极其局限性

1. 对原始内容进行关键词提取；
2. 建立关键词和原始语料的映射关系，常见的方法有倒序索引、TF-IDF、BM25等方法，其中TF-IDF、BM25通常用“稀疏向量（Sparse Vector）”来表示词频。
3. 检索时，对检索语句进行关键词抽取，并通过建立的映射关系召回关联度最高的TopK原始语料。

产品电源

对目前行业中其他产品基于RAG的问答系统的检索方式进行调研。

• 混合检索：结合全文检索与语义检索的优势，并对结果进行综合排序；

• 语义检索：基于向量的文本相关性查询，推荐在需要理解语义关联度和跨语言查询的场景使用；

• 全文检索：依赖于关键词的全文搜索，推荐在搜索具有特定名称、缩写词、短语或ID的场景使用；

• 混合查询：使用语义和关键词综合查询，效果更好；
• 关键词查询：精准查询，通过人名、地名等查询具体内容；
• 语义查询：适合通过描述、问题查询相似答案；

• 全文搜索：信息检索中与索引中存储的纯文本匹配；
• 矢量搜索：存储内容的数字表示形式来执行搜索；
• 混合搜索：全文搜索和矢量搜索的结合；

1. 基于文档和知识库的RAG问答系统，在调研的产品中，通常会支持混合检索、向量检索和全文检索。作为平台用户可以选择使用哪种检索方式；

2. 混合检索结合全文检索和向量检索的的优势，对召回的结果进行综合排序，让大模型生成的结果更好，也是各个平台优先推荐的；

   ---