今天分享的是一篇由北京人工智能研究院与中国人民大学高瓴人工智能学院联合发布的文章：MEMORAG: MOVING TOWARDS NEXT-GEN RAG VIA MEMORY-INSPIRED KNOWLEDGE DISCOVERYMemoRAG：通过受记忆启发的知识发现迈向下一代RAG
论文链接: https://arxiv.org/abs/2409.05591
代码地址：https://github.com/qhjqhj00/MemoRAG
摘要
本篇文章介绍了一种新型的检索增强生成模型——MemoRAG。MemoRAG 采用双系统架构：一方面，它使用轻量但长距离的 LLM 形成数据库的全局记忆。当任务出现时，它生成草稿答案，引导检索工具定位数据库中的有用信息。另一方面，它利用一种复杂但表达能力强的 LLM，根据检索到的信息生成最终答案。它解决了现有 RAG 系统在处理模糊信息需求和非结构化知识方面的局限性。实验表明，MemoRAG 在复杂和简单任务中均表现出色。方法
上图展示了标准RAG与MemoRAG在处理需要对整个数据库进行深入理解的查询时的比较。在左图中，由于输入查询的隐式性质，标准RAG难以准确定位所需的上下文，从而导致答案不太准确。在右图中，MemoRAG框架引入了一个智能接口，将任务与数据库中的相关知识连接起来。对于每个给定的任务，MemoRAG 会通过记忆模块生成检索线索。这些线索本质上是基于数据库压缩表示（即记忆）生成的草稿答案。尽管可能包含一些错误的细节，但这些线索能够明确揭示任务的底层信息需求。通过将这些线索作为查询，MemoRAG 能够有效地从数据库中检索必要的上下文，从而得出精确而全面的答案。- 2 指导性：能够提供有用的线索以全面检索所需知识。
因此，作者引入了双系统架构，使用轻量的 LLM 作为记忆模块，重型 LLM 用于执行检索增强生成。其中 和 分别表示生成模型和检索模型。( ) 代表输入查询，( ) 是从相关数据库 ( ) 中检索到的上下文， ( ) 是最终答案，( ) 代表一个可能不完整或缺乏细节的暂定答案，作为一组答案线索，指导从 ( ) 中检索最相关的上下文。
在获取到问题 与数据库 后，采用记忆模型 作为输入查询 和相关数据库 之间的语义桥梁生成有助于检索的线索 。
在获取到优化后的检索线索 后，通过检索模型 在数据库 中搜索相关的上下文 。
在获取到问题 与 相关的上下文 后，采用生成模型 生成最终回答 。实验
本篇文章在三个基准上使用了三种不同的生成器（Llama3-8B-Instruct-8K、Phi-3-mini-128K、Mistral-7B-Instruct-v0.2-32K）测试了MemoRAG的性能，结果表明 MemoRAG 在各种数据集和查询类型上显著提升了标准 RAG 方法和其他基线的性能。总结
MemoRAG区别于传统RAG系统，它通过引入记忆模块实现对数据库的全局理解，并回忆与查询相关的线索，从而提升检索的准确性和上下文丰富度。这一设计显著增强了MemoRAG在处理复杂任务、模糊信息需求以及非结构化知识时的表现，展示了在处理复杂推理和长文档任务中的巨大潜力，适用于多领域的实际应用
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
