RAG与长文本，此消彼长还是相辅相成？

上周，PingCAP AI Lab 数据科学家孙逸神的文章《当前都在堆长窗口，还需要 RAG 吗？》从用户的角度谈了长窗口 & RAG 的看法，引起了众多同行的围观。

本周我们采访了张粲宇，看看搞向量数据库的业内人士，是怎么看待这个问题的？

张粲宇，Zilliz Senior Product Manager。Milvus 产品负责人，主导向量数据库 Milvus 关键特性的定义与产品路线图的规划，Ask AI 项目负责人。

Ask AI，一个基于 RAG 技术搭建的企业级产品文档问答机器人。

随着 GPT-4o 与 Astra 在 Google IO 大会上的发布，生成式人工智能（AIGC）的进程再次加速。在大模型的多模态能力与效果百花齐放的同时，性价比已然成为各大模型公司竞争的主要策略。

经过这一年多的狂飙，相较于过去简单粗暴地依赖 Scaling Law 无视成本地堆积算力，现在 AIGC 的发展更加贴近实际应用，使用场景也逐渐明晰。人们开始以更务实和落地的视角来探索大模型的正确使用方式。

在众多大模型的打开方式中，检索增强生成技术（Retrieval-Augmented Generation，简称 RAG）受到广泛关注，并被应用在许多实际场景中，如知识库问答、学习助手、情感陪伴机器人等。

一个典型的 RAG 框架由 检索器（Retriever）和生成器（Generator）两部分组成。在检索之前，需要对原始数据进行预处理，包括为数据（如 Documents）进行切分、嵌入向量（Embedding）并构建索引（Chunks Vectors）。

在检索阶段，通过向量检索以召回相关结果，而在生成阶段则利用基于检索结果（Context）增强的 Prompt 来激活 LLM 以生成回答（Result）。

https://arxiv.org/pdf/2402.19473

RAG 技术的关键在于其结合了检索系统与生成模型的优点：检索系统能提供具体、相关的事实和数据，而生成模型则能够灵活地构建回答，并融入更广泛的语境和信息。

这是一种典型取的取长补短、解耦分治的思想。这种结合使得 RAG 模型在处理复杂的查询和生成信息丰富的回答方面表现出强大的能力，因此 RAG 在问答系统、对话系统和其他需要理解和生成自然语言的应用中极具价值。

相较于原生的大型模型，RAG 提供了以下天然的优势：

• 减轻 “幻觉” 问题：RAG 通过检索外部信息作为输入，辅助大型模型回答问题，这种方法能显著减少生成信息不准确的问题，同时增加回答的可追溯性。
• 数据隐私和安全：RAG 可以将知识库作为外挂数据库来管理企业或机构的私有数据资产，避免数据在模型学习后以不可控的方式泄露。
• 信息的实时性：RAG 允许从外部数据源实时检索信息，因此可以获取最新的、领域特定的知识，解决知识时效性问题。

• 首先，在可扩展性方面，即使是以业内翘楚 Google Gemini 的数百万 token，在大型企业和互联网的大数据面前也显得微不足道。关于大模型的记忆结构，一个简单的类比是：大模型的参数是寄存器，长文本是内存，而 RAG 则是硬盘。无论内存有多大，终究无法一次性装下整个世界的数据。因此在扩展性方面，不是长文本不好用，而是 RAG 更具有性价比。
• 其次，数据的管控和安全性也是 RAG 系统的优势。长文本可以很好地理解知识，但管理和维护知识的能力却相对较弱。例如，在企业对部分规章或制度做了变更的情况下，这在 RAG 系统里可以只是少量数据的部分更新，但在长文本里却需要重新开始。这就体现了在信息更新和修改灵活度上的差异。再举一个具体的例子，企业不同角色的员工应该有不同的访问权限。例如，薪酬专员可以访问各部门员工薪资，而其他员工则不能，这里的身份验证和权限管理是 RAG 数据管理系统的强项，而大模型的 prompt 目前很难做到精确的权限管理。此外，通过 RAG 企业可以在本地管理和控制自己的数据，同时利用外部的推理模型进行查询和生成，解耦的系统结构可以更好的确保数据安全性。
• 此外，在可解释性方面，长文本的 “黑盒” 模型使得调优很难下手。而在医疗、金融、法律等高风险领域，AI 系统的溯源性至关重要。RAG 的分阶段模型可以提供清晰的推理链条，每个阶段的结果都可以审核、分析、调试，在必要情况下可以引入人工干预，这种人机协同既可以弥补算法的不足，消除幻觉提升答案质量，又有助于发现数据问题并进行及时纠正和后续处理，这对许多严肃场景是更为系统的解法。