搭建RAG系统时，使用 向量检索 的原因主要在于其能够有效解决传统 关键字检索 的 局限性，并提升检索的准确性和效率。
那么关键字检索到底存在什么局限性？向量检索是如何解决的？这篇文章文章带你搞明白这背后的原因。
关键字检索的局限性
传统关键字检索依赖于词频统计，如基于BM25的倒排索引，这种方式无法理解语义信息，因此在处理复杂查询时存在以下问题：
语义理解不足：关键字检索仅 匹配字面相同 的词语，无法捕捉到 语义上的相似性。例如，查询 “苹果公司最新产品有哪些？”，关键词检索就可能返回关于水果“苹果”种植技术的文档。
模糊表达和拼写错误：对于模糊描述或拼写错误的查询，关键字检索容易返回不相关的结果。
长尾查询支持不足：当查询包含多个关键词或复杂结构时，关键字检索的召回率较低。
向量检索的优势
而向量检索是通过将文本转换为多维向量表示，并利用向量之间的相似度计算，比如：余弦相似度 来匹配查询，从而克服了关键字检索的局限性：
语义理解能力强：向量检索能够捕捉文本的语义信息，即使查询和文档中没有完全相同的词语，或是不同种类的语言，也能找到语义上相关的匹配项。
例如，查询 “为什么下雨前蚂蚁会排队搬家？”，即使文档中未明确提到“蚂蚁搬家”，模型仍能通过向量相似度关联到 “昆虫感知气压变化” 的科普内容。
处理模糊表达和拼写错误：向量检索对模糊表达和拼写错误具有一定的容错能力，能够通过语义相似度匹配到相关内容。
支持复杂查询：向量检索能够更好地处理包含多个关键词或复杂结构的查询，提高召回率和相关性。
向量检索与RAG系统
在RAG系统中，向量检索作为核心组件，负责从大规模数据集中快速找到与查询语义最接近的内容：
高效性：向量数据库支持高维数据的快速相似性搜索，能够在大规模数据集中快速找到最相似的向量。
灵活性：向量检索可以结合不同的嵌入模型和向量数据库技术，模型比如BGE-M3、text-embedding-3-small，向量数据库如 Milvus、Faiss等，灵活应对不同场景的需求。
提升生成质量：通过向量检索获取的相关内容作为输入，再结合大语言模型生成更准确、更丰富的回答。
课代表小结
尽管向量检索在语义理解上具有优势，但在某些情况下，如：专有名词、人名、缩写词 搜索，传统关键字检索可能更为有效。
因此，混合搜索方法：结合向量检索和关键字检索被提出，以弥补各自的不足，实现更广泛的文本搜索。
