随着生成式 AI 技术的快速发展，RAG（Retrieval-Augmented Generation）和 Agent 成为企业应用大模型的最直接途径。然而，传统的 RAG 系统在准确性和动态学习能力上存在明显不足，尤其是在处理复杂上下文和关联性任务时表现不佳。近期，一篇论文提出了 HippoRAG 2，这一新型 RAG 框架在多个方面取得了显著进步，为企业级 AI 应用提供了更强大的解决方案。
1. HippoRAG 2 简介：模仿人类记忆的 RAG 框架
HippoRAG 2 是一种创新的检索增强生成框架，旨在提升大语言模型（LLMs）的持续学习能力。它通过模仿人类长期记忆的动态性和互联性，解决了现有 RAG 系统在 意义理解（sense-making） 和 关联性（associativity） 任务上的局限性。HippoRAG 2 在原始 HippoRAG 的基础上进行了多项改进，包括增强段落整合、上下文感知和在线 LLM 使用，从而在事实记忆、意义理解和关联性任务上表现出色。
2. 为什么长期记忆对提升 RAG 的准确率有显著影响？
长期记忆机制是 HippoRAG 2 的核心创新之一，它通过模仿人类大脑的记忆方式，显著提升了 RAG 系统回答问题的准确率。以下是长期记忆机制对 RAG 准确率提升的具体影响，并结合实际示例说明：
2.1 增强上下文理解能力
传统 RAG 系统通常依赖向量检索，难以捕捉复杂上下文中的隐含信息，导致回答问题时缺乏深度理解。长期记忆机制通过动态整合上下文信息，能够更好地理解查询的意图和背景，从而生成更准确的回答。
示例：
查询：“为什么特斯拉的股价在 2023 年大幅波动？” 传统 RAG：可能只检索到与“特斯拉股价”相关的孤立信息，忽略宏观经济、行业趋势等关联因素。 HippoRAG 2：通过长期记忆机制，能够整合特斯拉财报、电动汽车行业动态、全球经济环境等多维度信息，生成更全面的回答。
2.2 提升多跳推理能力
多跳推理任务需要模型连接多个分散的知识片段，传统 RAG 系统在这方面表现较差。长期记忆机制通过知识图谱（KG）结构支持多跳推理，能够逐步推导出答案，显著提升复杂查询的回答准确率。
示例：
查询：“苹果公司创始人史蒂夫·乔布斯的第一份工作是什么？” 传统 RAG：可能只能检索到“史蒂夫·乔布斯”或“苹果公司”的孤立信息，无法连接“第一份工作”这一关键点。 HippoRAG 2：通过知识图谱中的关联关系，能够从“史蒂夫·乔布斯”节点跳转到“早期职业生涯”节点，最终找到“他在 Atari 公司工作”的答案。
2.3 避免灾难性遗忘
传统 RAG 系统在引入新知识时容易遗忘旧知识，导致回答问题时出现不一致或错误。长期记忆机制能够动态更新知识图谱，同时保留旧知识，避免灾难性遗忘，确保回答的准确性和一致性。
示例：
场景：某公司的产品价格在 2023 年进行了调整。 传统 RAG：可能仍然使用 2022 年的价格信息，导致回答错误。 HippoRAG 2：通过长期记忆机制，能够动态更新价格信息，并确保回答时使用最新的数据。
2.4 提升关联性任务的准确率
传统 RAG 系统在处理关联性任务时表现不佳，难以连接分散的知识片段。长期记忆机制通过知识图谱中的“包含”关系和“上下文边缘”连接相关段落和短语，能够更好地捕捉知识片段之间的关联性，生成更准确的回答。
示例：
查询：“量子计算对人工智能的发展有什么影响？” 传统 RAG：可能只能检索到“量子计算”或“人工智能”的孤立信息，无法连接两者之间的关系。 HippoRAG 2：通过知识图谱中的关联关系，能够整合“量子计算加速机器学习算法”等相关信息，生成更准确的回答。
2.5 动态适应复杂查询
复杂查询通常涉及多个子问题或隐含条件，传统 RAG 系统难以全面解析。长期记忆机制能够分层次解析复杂查询，逐步拆解并回答每个子问题，同时通过上下文感知能力理解查询中的隐含条件，生成更符合用户意图的回答。
示例：
查询：“如果特斯拉在中国建厂，会对美国本土的就业市场产生什么影响？” 传统 RAG：可能只能回答“特斯拉在中国建厂”或“美国就业市场”的孤立信息，无法连接两者之间的关系。 HippoRAG 2：通过长期记忆机制，能够整合“特斯拉全球供应链”、“中国制造业成本优势”、“美国就业市场数据”等多维度信息，生成更全面的回答。
3. HippoRAG 2 解决的问题：从持续学习到关联性捕捉
3.1 持续学习的挑战
大语言模型在持续学习方面面临两大挑战：
新知识的吸收：模型难以高效地整合新知识。 灾难性遗忘：模型在学习新知识时容易遗忘旧知识。
3.2 传统 RAG 的局限性
尽管 RAG 已成为向 LLMs 引入新信息的主流方法，但其依赖向量检索的方式存在以下问题：
意义理解不足：难以解析复杂上下文。 关联性捕捉有限：无法有效连接分散的知识片段。 信息整合能力弱：现有 RAG 方法在处理多段落信息时表现不佳。
3.3 结构化增强 RAG 的权衡
现有的结构化增强 RAG 方法（如 GraphRAG、RAPTOR 等）虽然提升了意义理解和关联性，但在基础事实记忆任务上往往表现不佳。例如，HippoRAG 在大规模语篇理解任务上表现下降，而 RAPTOR 在简单和多跳问答任务上因噪声引入而性能大幅下降。
4. HippoRAG 2 的解决方案：神经生物学启发的创新设计
HippoRAG 2 通过以下关键改进解决了上述问题：
4.1 密集-稀疏信息整合
HippoRAG 2 将概念和上下文信息无缝整合到一个开放的**知识图谱（KG）**中，增强了索引的全面性和原子性。具体来说，它将短语节点作为概念的稀疏编码，并将密集编码（段落）整合到 KG 中，通过“包含”关系连接段落和短语。
4.2 更深层次的上下文感知
HippoRAG 2 利用 KG 结构实现更上下文感知的检索，而不仅仅依赖命名实体识别（NER）。它采用“查询到三元组”方法，通过整个查询链接 KG 中的三元组，从而更全面地理解查询意图。
4.3 识别记忆
HippoRAG 2 引入了识别记忆机制，通过 LLM 过滤检索到的三元组，确保其相关性。这一过程分为两步：
查询到三元组：使用嵌入模型检索 KG 中的 top-k 三元组。 三元组过滤：使用 LLM 过滤三元组并生成最终的三元组集合。
4.4 神经生物学启发
HippoRAG 2 的设计灵感来自人类长期记忆的结构，其组件模拟了新皮层（LLM）、 海马旁区（PHR 编码器） 和 海马体（开放 KG） 的功能。
4.5 整体流程
HippoRAG 2 的流程分为两部分：
离线索引：从段落中提取三元组并构建 KG。 在线检索：将查询链接到 KG 元素，过滤三元组，并使用个性化 PageRank（PPR）进行上下文感知检索。
5. 出色的实验结果：全面超越现有方法
5.1 综合评估
作者在多个基准上进行了实验，包括：
事实记忆：NaturalQuestions、PopQA。 意义理解：NarrativeQA。 关联性：MuSiQue、2Wiki、HotpotQA、LV-Eval。
5.2 卓越性能
HippoRAG 2 在所有基准类别上均优于标准 RAG 和其他结构化增强 RAG 方法。具体来说：
在关联性任务上，HippoRAG 2 比标准 RAG 平均提高了 7 个百分点。 在事实记忆和意义理解任务上，HippoRAG 2 不仅没有性能下降，反而略有提升。
5.3 鲁棒性
HippoRAG 2 对不同检索器和 LLM 表现出极强的鲁棒性，无论是开源还是专有 LLM 均可灵活使用。
5.4 关键结果
问答性能：HippoRAG 2 在多个基准上取得了最高的平均 F1 分数。 检索性能：在检索任务上，HippoRAG 2 同样表现优异。
5.5 消融实验
消融实验证实，HippoRAG 2 的每个组件都对其性能提升有显著贡献。例如，更深层次的上下文感知链接方法显著提高了性能。
6. 结论：HippoRAG 2 的未来与应用
HippoRAG 2 不仅适用于问答系统和知识管理，还可以广泛应用于客户服务、智能推荐和研发辅助等领域。未来，随着更多企业数据的接入和模型的进一步优化，HippoRAG 2 有望成为企业 AI 基础设施的核心组件。
