随着大型语言模型（LLMs）在问答任务中表现出色，如何将实时知识更新整合到这些模型中成为一个挑战。尤其是处理多跳问题时，LLMs需要更新和整合与问题相关的多个知识点。现有的模型编辑方法在处理多跳问题时面临困难，因为它们往往无法有效地处理知识点之间的复杂联系，导致生成过时或不正确的回答。
图1：一个传统基于相似性搜索未能检索到LLM编辑正确事实的例子
图 2 展示了检索增强型上下文模型编辑方法的整体框架。包括以下几个关键组成部分：
外部知识图谱：用于存储编辑过的事实和未编辑的事实，为检索过程提供丰富的知识基础。
基于互信息的检索：通过最大化问题和检索到的子图之间的互信息，来识别与问题最相关的知识子图。
冗余知识剪枝：使用编辑不确定性来评估检索到的事实集，并剪除那些可能导致模型输出不确定性增加的冗余或不相关事实。
上下文学习编辑：将经过剪枝的、与问题最相关的事实集作为输入，结合编辑模板，通过LLMs的上下文学习能力来生成准确的答案。
编辑模板：一种特定的提示结构，用于指导LLMs如何结合问题和事实来产生正确的输出。
图4：多跳事实检索准确率（%）比较
Retrieval-Enhanced Knowledge Editing for Multi-Hop Question Answering in Language Modelshttps://arxiv.org/pdf/2403.19631.pdf
