简介
大型语言模型 (LLM) 代理已经发展到可以智能地处理信息、做出决策并与用户或工具交互。一项关键能力是整合长期记忆能力，使这些代理能够利用历史交互和知识。然而，不断增长的内存大小和对语义结构的需求带来了重大挑战。在这项工作中，我们提出了一种自主记忆增强方法 MemInsight，以增强语义数据表示和检索机制。通过利用自主增强来处理历史交互，LLM 代理可以提供更准确和更情境化的响应。我们在三个任务场景中通过实证验证了我们提出的方法的有效性：对话推荐、问答和事件摘要。在 LLM-REDIAL 数据集上，MemInsight 将推荐的说服力提高了 14%。此外，它在 LoCoMo 检索的召回率上比 RAG 基线高出 34%。我们的实证结果表明，MemInsight 有可能在多个任务中增强 LLM 代理的情境性能。
1 介绍
LLM 代理已经成为一种先进的框架，可以扩展 LLM 的能力以改进推理能力、适应性,、以及自我进化。这些代理的一个关键组件是它们的记忆模块，它保留了过去的交互，以便在各种任务中做出更连贯、一致和个性化的响应。LLM 代理的记忆旨在通过模拟知识的积累方式和利用历史经验来模拟人类的认知过程，以促进复杂的推理和检索相关信息以指导行动。然而，LLM 代理的记忆优势也带来了显著的挑战。
（1）随着数据随时间的推移而积累，检索相关信息变得越来越具有挑战性，特别是在长时间交互或复杂任务期间。
（2）处理随着交互的积累而快速增长的大量历史数据需要有效的内存管理策略。
（3）以原始格式存储数据会妨碍有效检索相关知识，因为区分相关和不相关的细节变得更具挑战性，可能会导致嘈杂或不精确的信息，从而影响代理的性能。
（4）跨任务的知识整合受到限制，限制了代理有效利用来自不同上下文的数据的能力。因此，有效的知识表示和 LLM 代理记忆的结构对于积累相关信息和增强对过去事件的理解至关重要。改进的内存管理可以实现更好的检索和情境意识，这使其成为一个关键且不断发展的研究领域。
因此，在本文中，我们介绍了一种自主记忆增强方法 MemInsight，该方法使 LLM 代理能够识别数据中的关键信息并主动提出有效的记忆增强属性。这类似于人类的注意力控制和认知更新过程，包括有选择地优先考虑相关信息、过滤掉干扰，并不断用新的相关数据刷新心理工作空间。
MemInsight 自主生成增强功能，对记忆的相关语义和上下文信息进行编码。这些增强功能有助于识别与各种任务相关的记忆成分。因此，MemInsight 可以通过利用记忆的相关属性来改善记忆检索，从而支持自主的 LLM 代理适应性和自我进化。
我们的贡献可以总结如下：
我们提出了一种结构化的自主方法，该方法可以调整 LLM 代理的记忆表示，同时在各种任务的扩展对话中保留上下文。
我们设计并应用记忆检索方法，利用生成的记忆增强来过滤掉不相关的记忆，同时保留关键的历史见解。
我们有希望的实证结果证明了 MemInsight 在多个任务上的有效性：对话推荐、问答和事件总结。
2 相关工作
组织良好且语义丰富的记忆结构能够高效地存储和检索信息，从而使 LLM 代理能够保持上下文连贯性并提供相关响应。在 LLM 代理中开发有效的记忆模块通常涉及两个关键组件：结构记忆生成和记忆检索方法。
LLM 代理记忆的最新研究重点是开发有效存储先前交互和反馈的方法。当代方法强调增强代理适应性并提高其推广到以前未见过的环境的能力的记忆结构。常见的记忆形式包括摘要和从原始观察中抽象高级信息以捕捉关键点并减少信息冗余。其他方法包括将记忆构建为摘要、时间事件或推理链。此外，还有一些研究使用语义表示来丰富原始对话，例如事件序列和历史事件摘要，或从典型示例中提取可重复使用的工作流并将其集成到记忆中以协助测试时推理。然而，所有上述研究都依赖于非结构化记忆或人为设计的属性来进行记忆表示，而MemInsight 则利用 AI 代理的自主性来发现结构化表示的理想属性。
现有研究已利用记忆检索技术来提高处理大量历史背景的效率。记忆检索的常用方法包括生成检索模型，该模型将记忆编码为密集向量，并基于相似性搜索技术检索前 k 个相关文档。采用了各种相似性指标，例如余弦相似度，以及双塔（dual-tower）密集检索模型等先进技术，该模型将每个记忆历史编码为由索引的嵌入，以提高检索效率。此外，还利用局部敏感哈希 (LSH) 等方法来检索内存中包含相关条目的元组。
3 自主记忆增强
我们提出的 MemInsight 模型旨在通过优化记忆检索的结构化增强过程来增强记忆表征。图 1展示了该模型的概览，重点介绍了其主要模块：属性挖掘、注释和记忆检索器。
3.1属性挖掘与注释
为了确保这些属性在未来交互中的有效性，它们必须有意义、准确且我们的 MemInsight 模型中的属性挖掘利用主干 LLM 来自主识别和定义封装来自用户交互的语义知识的关键属性。这需要选择与所考虑任务最相关的属性并使用它们来注释历史对话。有效的属性必须有意义、准确且与上下文相关，以增强未来的交互。为了实现这一点，增强过程遵循结构化方法，定义属性的派生视角，确定适当的增强粒度级别，并建立注释的连贯顺序。然后使用生成的属性和值来丰富记忆，确保对过去交互进行井然有序且信息丰富的表示。
3.1.1属性视角
属性生成由两个主要方向指导：以实体为中心和以对话为中心。以实体为中心强调存储在记忆中的特定项目，例如电影或书籍。为以实体为中心的增强生成的属性应捕获此实体的主要特征和特性。例如，电影实体的属性可能包括导演、演员和上映年份，而书籍实体的属性则包括作者、出版商和页数。另一方面，以对话为中心的增强侧重于从用户的角度注释和描述整个用户交互。
3.1.2属性粒度
以实体为中心的增强侧重于内存中的特定实体，而以对话为中心的增强则引入了一个额外的因素：属性粒度，它决定了在增强过程中捕获的细节级别。增强属性可以在不同的抽象级别进行分析，既可以在用户对话中的各个回合级别（回合级别），也可以在整个对话会话中（会话级别），每个级别都可以提供对对话上下文的不同见解。在回合级别，每个对话回合都是独立增强的，重点关注各个回合的具体内容，以生成更细微和更具上下文的属性。相比之下，会话级别注释考虑整个对话，生成可捕获更广泛对话上下文的通用属性。由于其粒度更广，会话级别增强强调高级属性和对话结构，而不是各个回合的详细特征。上图2显示了两个级别的示例，即示例对话回合。如图所示，回合级别注释提供更细粒度的细节，而会话级别注释提供更广泛的对话概述。
3.1.3注释和属性优先级排序
智能体的记忆以结构化形式存储，这种标注方式便于后续快速检索和推理。同时具有以下应用意义：
效率优化：优先级增强减少冗余计算，提升智能体决策速度。
精准性提升：通过动态排序，更相关的属性主导记忆更新和推理过程，减少噪声干扰。
场景适应性：会话级记忆（session-level）可能关注长期目标，而轮次级记忆（turn-level）侧重当前交互细节，优先级排序需灵活适配。
3.2记忆检索
MemInsight 增强技术用于丰富或检索相关记忆。对于全面检索，将与所有相关增强技术一起检索记忆，以生成更具情境感知的响应。此外，MemInsight 可以优化检索过程。首先，增强当前情境以识别特定于任务和与交互相关的属性，然后指导相关记忆的检索。提出了两种主要的检索方法：（1）基于属性的检索，利用当前情境生成针对当前特定任务的属性。这些属性作为选择和检索在增强技术中具有相似属性的相关记忆的标准。随后将与所需属性一致的检索到的记忆集成到当前情境中，以丰富正在进行的交互。（2）基于嵌入的检索，利用记忆增强技术为每个记忆实例创建一个唯一的嵌入表示，该表示源自其聚合注释。同时，嵌入当前上下文的增强以形成查询向量，然后将其用于基于相似性的搜索以检索顶级最相关的记忆。最后，所有检索到的记忆都被纳入当前情境中，以增强正在进行的交互的相关性和连贯性。这种方法的详细描述可以在下图中找到。
图 7：以下为三部电影的增强嵌入方法示例：（1）《无间行者》、（2）《禁闭岛》和（3）《霍比特人》。电影 1 和 2 具有相似的属性，而电影 1 和 3 则不同。为简化说明，我们选取了每部电影的前 5 个属性。
4评估
4.1数据集
我们对数据集进行了一系列实验：LLM-REDIAL。LLM-REDIAL 是一个用于评估电影对话推荐的数据集，包含约 10K 个对话，涵盖 11K 部电影。而 LoCoMo 是一个用于评估问答和事件摘要的数据集，包含两个说话者之间最多 10 个会话的 30 个长期对话。LoCoMo 包括五个问题类别：单跳、多跳、时间推理、开放域知识和对抗性问题。每个问题都有一个参考标签，用于指定生成答案所需的相关对话轮次。此外，LoCoMo 为会话中的每个说话者提供事件标签，我们将其用作事件摘要评估的基本事实。
4.2实验设置
为了评估我们的模型，我们首先使用具有零样本提示的主干 LLM 来扩充数据集，以识别相关属性及其对应的值。对于跨各种任务的增强生成和评估，我们使用以下模型进行属性生成：Claude Sonnet（claude-3-sonnet-20240229-v1）、Llama2（llama3-70b-instruct-v1）和Mistral（mistral-7b-instruct-v0），对于事件摘要任务，我们还使用Claude-3-Haiku模型（claude-3-Haiku-20240307-v1）。对于基于嵌入的检索任务，我们使用 Titan 文本嵌入模型（titan-embed-text-v2:0）来生成嵌入。然后使用 FAISS Johnson 等人嵌入和索引增强的内存。 以向量索引和搜索。为了确保所有实验的一致性，我们对主要任务（推荐、答案生成和总结）使用相同的基础模型，同时评估不同的增强模型。Claude Sonnet 在所有任务的基线中充当主干 LLM。
4.3评估指标
使用 MemInsight 评估不同任务的评估指标包括传统指标，例如用于答案预测的 F1 分数指标和用于问答准确度的召回率。用于对话推荐的 Recall@K 和 NDCG@K，以及用于类型匹配的基于 LLM 的指标。
我们还使用主观指标进行评估。以评估推荐相对于事实的说服力。此外，我们引入了相关性指标，我们提示 LLM 衡量推荐属性与事实的可比性，将其归类为不可比、可比或高度可比。最后，我们使用基于 LLM 的指标评估事件摘要G-Eval，这是一种摘要评估指标，用于衡量生成的摘要（而非参考标签）的相关性、一致性和连贯性。这些指标为评估检索效果和响应质量提供了一个全面的框架。
5 实验
表 1： 基于属性和基于嵌入的记忆检索方法的答案生成准确率的 F1 分数 (%) 结果。基线是 Claude-3-Sonnet 模型，使用所有记忆生成答案，无需增强，适用于基于属性的检索。此外还有用于基于嵌入的检索的密集段落检索 (DPR)。评估使用K. 所有方法中每个问题类别的最佳结果以粗体显示。
表 2：使用 LoCoMo 数据集进行基于嵌入的答案生成检索的 RECALL@k=5 准确率结果。密集段落检索 (DPR) RAG 模型是基线。最佳结果以粗体显示。
5.1问答实验
进行问答任务实验以评估 MemInsight 在答案生成方面的有效性。我们评估整体准确性以衡量系统从增强中检索和整合相关信息的能力。基础模型包含所有未经增强的历史对话，作为基线。我们还考虑了密集段落检索 (DPR) RAG 模型作为比较基线，因为它的速度和可扩展性。
在这个任务中，记忆是由历史对话构建的，这需要生成以对话为中心的属性来进行增强。鉴于基本事实标签由与问题相关的对话轮次组成，对话在轮次级别进行注释。骨干 LLM 被提示为以对话为中心和轮次级别的注释生成增强属性。
要回答给定的问题，必须从历史对话中检索相关的对话轮次。为了检索相关的对话轮次，首先对问题进行增强以识别相关属性，然后应用记忆检索方法。我们评估了不同的 MemInsight 记忆检索方法，以证明我们模型的有效性。我们采用基于属性的检索，选择使用与问题属性完全匹配的属性增强的对话轮次。此外，我们评估了基于嵌入的检索，其中增强被嵌入并索引以进行检索。因此，问题和属性被转换为嵌入式查询，用于执行向量相似性搜索以检索顶部k最相似的对话轮次。一旦检索到相关记忆，就会将其整合到当前上下文中以生成最终答案。
我们通过使用 Claude-3-Sonnet 模型评估基于属性的记忆检索来启动我们的评估。上图表1显示了总体 F1 分数，用于衡量生成答案的准确性。如表所示，基于属性的检索在总体准确度上比基线模型高出 3%，并且在单跳、时间推理和对抗性问题方面有显著改善，这些问题需要高级的上下文理解和推理。这些结果表明，增强的历史记录丰富了上下文，从而实现了更好的推理，并显著提高了答案生成的 F1 分数。此外，我们对基于嵌入的检索进行了详细分析，我们考虑使用 Claude-3-Sonnet 模型评估基本和优先级增强。
表1表明，优先级增强在所有问题上的表现始终优于基本模型。这一发现表明，增强的优先级相关性增强了对话数据的上下文表示。随后，我们使用 Llama 和 Mistral 模型评估基于嵌入的检索的优先级增强。如表所示，基于嵌入的检索在所有问题类别（对抗性问题除外）上的表现均优于 RAG 基线，但MemInsight 的整体准确性仍然更高。此外，MemInsight 在多跳问题上表现出显著的性能提升，这些问题需要对多个支持证据进行推理。这表明生成的增强提供了对历史对话的更稳健的理解和更广阔的视角。上表2中的召回率指标显示了更显著的提升，优先级增强提高了所有类别的准确性，并产生了 35% 的整体改进。
表 4： 使用以下方法进行电影对话推荐的结果：(1) 使用 Claude-3-Sonnet 模型进行基于属性的检索 (2) 跨模型（Llama v3、Mistral v1、Claude-3-Haiku 和 Claude-3-Sonnet）进行基于嵌入的检索 (3) 使用包含所有增强的 Claude-3-Sonnet 进行综合设置。评估指标包括 RECALL、NDCG 和基于 LLM 的类型匹配指标，和k。基线是 Claude-3-Sonnet，未进行增强。最佳结果以粗体显示。
5.2对话式推荐
我们通过提出的相同条件下准备对话进行评估来模拟对话推荐。这个过程包括屏蔽对话并随机选择对话进行评估，以确保公平比较。使用的每个对话都通过屏蔽基本事实标签进行处理，然后进行转折截断，其中第一个屏蔽转折之后的所有对话转折都被删除并保留为评估标签。随后，使用以对话为中心的方法增强对话，以识别相关的用户兴趣属性以供检索。最后，我们提示 LLM 模型生成与屏蔽标记最匹配的电影推荐，并以基于用户历史交互检索到的增强电影为指导。
本次评估的基准是 LLM-REDIAL 论文中提出的结果，该论文使用 ChatGPT 模型进行零样本提示推荐。除了使用无增强内存的基准模型之外。
评估包括使用 RECALL@[1,5,10] 和 NDCG@[1,5,10] 对推荐电影标题和真实电影标题进行直接匹配。此外，为了解决 LLM 生成的电影标题不一致的问题，我们采用了基于 LLM 的评估，根据类型相似性评估推荐。具体来说，如果推荐电影与相应的真实电影标签属于同一类型，则该电影被视为有效匹配。
我们最初使用相关属性扩充数据集，主要采用以实体为中心的扩充来注释记忆，因为记忆由电影组成。在此背景下，我们对生成的属性进行详细评估，以初步评估 MemInsight 扩充的有效性和相关性。为了评估生成的属性的质量，上表3提供了生成属性的统计数据，包括整个数据集中出现频率最高的五个属性。如表所示，生成的属性通常是相关的，其中“类型”是最重要的属性，基于其在所有电影中的累积频率（显示如下图）。但是，属性的相关性各不相同，强调了在扩充中需要优先考虑。此外，表格显示 0.1% 的电影的扩充失败，主要是因为 LLM 无法识别某些电影标题，或者因为电影标题中某些单词的存在与 LLM 的政策相冲突。
图5：使用 MemInsight 属性挖掘，按频率在各个领域（电影、体育用品、电子产品和书籍）的 LLM-REDIAL 数据集中排名前 10 的属性。频率表示生成每个属性以增强不同电影的频率。
对于此任务，我们使用 Claude-3-Sonnet 模型评估基于属性的检索，同时使用过滤和综合设置。此外，我们使用所有其他模型检查基于嵌入的检索。对于基于嵌入的检索，我们设置k，意味着检索到了 10 个内存实例（而基线中为 144 个）。
表 4显示了对话推荐评估综合设置、基于属性的检索和基于嵌入的检索的结果。如表所示，综合记忆增强在回忆和 NDCG 指标方面往往优于基线和 LLM-REDIAL 模型。对于类型匹配，我们发现在考虑所有属性时结果是可比的。然而，基于属性的过滤检索仍然优于 LLM-REDIAL 模型，并且与基线相当，但记忆检索量减少了近 90%。
下表5显示了LLM主观的说服力和关联性评估结果。结果表明，使用综合和基于属性的检索，记忆增强可将部分说服力提高 10-11%，同时在基于属性的检索中减少不具说服力的推荐，并将高度说服力的推荐提高 4%。此外，结果还强调了基于嵌入的检索的有效性，它使高度说服力的推荐增加了 12%，并增强了所有关联性指标。这说明了MemInsight如何通过整合精简的相关知识来丰富推荐流程，从而产生更具说服力和相关性的推荐。然而，这些改进并未反映在召回率和 NDCG 指标中。
表 5：使用基于 LLM 的指标的电影推荐结果（设置与表4类似）；（1）说服力——不具说服力（越低越好）、部分说服力和高度说服力案例的百分比。（2）相关性——不可比（越低越好）、可比和完全匹配案例的百分比。最佳结果以粗体显示。综合设置包括所有增强。由于 LLM 模型无法评估的案例，总数可能不等于 100%。
5.3事件摘要
我们评估了 MemInsight 在丰富原始对话并提供相关见解以进行事件摘要方面的有效性。我们利用生成的注释来识别对话中的关键事件，然后将其用于事件摘要。我们将生成的摘要与 LoCoMo 的事件标签进行比较作为基线。下图3说明了实验框架，其中基线是发送到 LLM 模型以生成事件摘要的原始对话，然后将来自原始对话和基于增强的摘要的两个事件摘要与 LoCoMo 数据集中的真实摘要进行比较。
在本实验中，我们评估了增强粒度的有效性；回合级对话增强与会话级对话注释的对比。此外，我们还考虑研究仅使用增强来生成事件摘要的有效性，而不是同时使用增强及其相应的对话内容。
图 3：使用 MemInsight 进行事件摘要的评估框架，探索在 Turn 和 Session 级别的增强，单独考虑属性或同时考虑属性和对话以获得更丰富的摘要。
表 6： 使用 G-Eval 指标的事件摘要结果（越高越好）：相关性、连贯性和一致性。比较仅在回合级别 (TL) 和会话级别 (SL) 使用增强生成的摘要以及在 TL 和 SL 使用增强和对话 (MemInsight +Dialogues) 生成的摘要。最佳结果以粗体显示。
实验结果如上表6所示，尽管仅依赖包含事件标签的对话轮次或会话，我们的 MemInsight 模型仍实现了与基线相当的性能。值得注意的是，轮次级增强提供了更精确和详细的事件信息，从而提高了基线和会话级注释的性能。
对于 Claude-3-Sonnet，所有指标仍然相当，表明记忆增强有效地捕捉了对话中回合和会话级别的语义和知识。这证明了增强足以增强上下文表示以生成事件摘要。
为了进一步研究骨干 LLM 如何影响增强质量，我们采用 Claude-3-Sonnet 而不是 Llama v3 进行增强，同时仍使用 Llama 进行事件摘要。如表7所示，Sonnet 增强提高了所有指标的性能，为 Sonnet 在增强方面的有效性和稳定性提供了实证证据。
表 7：使用 Llama v3 进行事件总结的结果，其中基线是没有增强的模型，而不是使用 Claude-3-Sonnet 与 Llama v3 的增强模型（回合级别）。
6 结论
本文介绍了一种自主记忆增强方法 MemInsight，该方法通过基于属性的注释增强 LLM Agent智能体的记忆。在标准指标上保持可比性能的同时，MemInsight 显著提高了基于 LLM 的评估分数，凸显了其在捕获语义和提高跨任务和数据集性能方面的有效性。此外，基于属性的过滤和嵌入检索方法展示了利用生成的增强来提高各种任务性能的有前途的方法。优先级增强增强了相似性搜索和检索。MemInsight 还可以作为 RAG 模型的补充，用于定制检索，集成 LLM 知识。结果证实，基于属性的检索有效地丰富了推荐任务，从而产生更具说服力的推荐。
7 限制
虽然提出的 MemInsight 模型在增强检索和上下文理解方面表现出巨大潜力，但必须承认其存在某些局限性。MemInsight 依赖于使用 LLM 生成的注释的质量和粒度，因此容易受到 LLM 输出固有的幻觉等问题的影响。此外，尽管当前的评估指标提供了有价值的见解，但它们可能无法全面涵盖检索和生成质量的所有方面，这凸显了开发更强大、多维的评估框架的必要性。
