论文导读 | 基于大模型的知识图谱补全方法

论文链接：https://aclanthology.org/2022.findings-acl.282/

源码链接：https://github.com/THU-KEG/PKGC

本篇论文主要探讨了预训练语言模型（PLMs）在知识图谱补全中的应用，并提出了针对该问题的方法和评估标准。研究发现，基于PLMs的知识图谱补全模型性能仍落后于SOTA模型，原因在于评价设置不准确以及对PLMs的利用不够充分。

本文提出了封闭世界假设（Closed-world assumption(CWA)）和一个更加准确的开放世界假设（Open-world assumption(OWA)）下的评估标准。封闭世界假设（CWA）认为给定的知识图谱中没有出现的三元组是错误的。这意味着，如果数据集包括训练集/验证集/测试集，并且模型在测试集上进行测试，那么只有在整个数据集中出现过的三元组才被认为是正确的。在 CWA 下，可以轻松地在没有标注的情况下评估模型的性能。然而，CWA 本质上是一种近似方法，不能保证评估结果的准确性。而开放世界假设 (OWA) 认为，知识图谱中包含的三元组并不完整。因此，在开放世界假设下的评估更准确，也更接近真实情况，但需要额外的人为标注来仔细验证知识图谱中不存在的已完成三元组是否正确。开放世界假设 (OWA) 认为，知识图谱中包含的三元组并不完整。因此，在开放世界假设下的评估更准确，也更接近真实情况，但需要额外的人为标注来仔细验证知识图谱中不存在的已完成三元组是否正确。

如下图这个例子所示，开放世界假设下，在人的视角下，前十四个候选答案都是正确的，但是在封闭世界假设下只有标红的实体出现在了知识图谱中被认为是正确的，而其他答案都不被判断为正确。

在本文之前基于PLMs的知识图谱补全方法将三元组简单拼接输入到PLMs中进行分类。本文设计了一种基于PLMs的知识图谱补全模型PKGC，如图2所示，该模型通过人工精心设计的模板将每个三元组及其补充信息转化为自然提示句子，进一步输入到PLMs中进行分类。实验结果表明，该方法在两种不同的评估环境下均取得了良好的效果。

这篇文章的主要贡献主要有下面三点：

（1）本文针对预训练语言模型（PLM）在知识图谱补全（KGC）任务中的性能问题进行了深入研究，并提出了两种主要原因：不准确的评估设置和不当的PLM利用方式。

（2）作者提出了一种新的评估设置——开放世界假设（OWA），以更准确地评估KGC模型，并设计了一个新颖的基于PLM的KGC模型PKGC，该模型能够更好地利用PLM中隐含的知识。

（3）实验结果表明，OWA提供了更准确的评估结果，特别是对于PLM基KGC模型和更开放的链接预测任务；PKGC模型能够有效地利用PLM的知识，因此对于数据量较少的情况更加鲁棒；此外，PKGC模型具有推理能力，可以结合PLM和KG的知识来推断未知知识。

论文链接：https://arxiv.org/abs/2403.01972

源码链接：https://github.com/quqxui/MPIKGC

这篇论文介绍了一种名为MPIKGC的框架，用于提高知识图谱补全（KGC）模型的性能。传统的KGC方法主要依赖于实体和关系名称来进行预测，但这种方法存在一定的局限性。因此，该论文提出了一个新的方法，通过查询大型语言模型（LLM），从多个角度对实体描述、关系理解和结构提取进行补偿，从而扩展了基于描述的KGC模型的能力。实验结果表明，MPIKGC在四个不同的数据集上都取得了显著的改进效果。

MPIKGC的整体框架如下图所示，它包含三个主要部分：描述扩展、关系理解和结构提取。

从LLM中归一化一个实体的全面知识并非易事，因为很难确定LLM是否包含了该实体的所有信息，因此该框架的描述扩展通过设计Chain-of-Thought（CoT）提示策略，提示词模板如图4所示，该模板要求LLMs逐步生成详细的实体描述，并提供每个回答的理由，以提高KGC模型的召回率。例如，图3展示了“Michael Bay”的例子，LLM生成了一个描述，其中包含了个人的各种职业和个人详细信息，并附有每个回应的理由，以增强LLM的陈述。

关系理解提出了三种不同的提示策略，即全局（Global）、局部（Local）和反向（Reverse），以帮助模型更好地理解关系的意义，进而提高预测性能,对应的提示词如上图所示。

知识图中异构关系的存在在区分两个实体方面起着至关重要的作用。然而，仅依赖关系名称可能会导致歧义解释，尤其是对于复杂的关系类别（如多对多和多对一），更重要的是，链接预测任务需要额外的反向预测，即预测给定（?,r,t）的头部实体，而反向的多对一关系的预测显著低于正向预测。

MPIKGC-R Global从整个KG的角度推断一种关系的意义，从而促进两种关系之间更好的关联。例如，“制片方”“produced by”和“导演”“director”都与电影业有关，而“上映地区”“release region” 和“出生地”“place of birth” 则与国家或地区的名称有关。

MPIKGC-R Local从三元组的角度推断关系的含义，从而增强理解，并在预测缺失事实的同时提出可能的头/尾实体类型。例如，当查询“(head entity, release region, tail entity)”的含义时，LLM认为这种关系可能与电影和区域有关。

此外，MPIKGC-R Reverse反向需要LLM将关系表示为动词，并将其转换为被动语态。例如，“product”可以转换为“producted by”，从而增强压缩并实现更好的反向预测。生成的文本被附加到关系名称，并根据每个KGC模型处理关系名称的工作流进行处理。

最后，结构提取使用LLMs生成额外的结构信息，将其转换为与KG相兼容的数据，并用于训练KGC模型。

KGC模型能够从训练三元组中学习结构模式，并推广到测试三元组中缺失的环节。例如，拥有制片人或导演职业的个人实体可能与电影实体有关。然而，从图结构中进行模式学习仅限于稀疏链接，特别是对于长尾实体。

为了解决这个问题，通过MPIKGC-S查询LLM以生成额外的结构信息来丰富KGs。为了将LLM的生成文本转换为基于图的数据，利用LLM的汇总能力从描述中提取相关关键词，对应的prompt如图6所示。

然后根据匹配关键词的数量计算实体之间的匹配分数s：

其中，和 分别表示头/尾实体的关键词，m是和的交集。在对匹配分数进行排序后，选择了前k对，并以（head，SameAs，tail）的形式创建新的三元组，然后将其附加到训练集。

例如，图3中通过在“IanBryce”和“MichaelBay”之间添加“SameAs”关系，“IanBlyce”可以通过明确的路径到达“Transformers: Dark of the Moon”实体，从而成为KGC模型学习过程的一个补充。

论文链接：https://arxiv.org/abs/2310.06671

源码链接：https://github.com/zjukg/KoPA

本文探讨如何将结构信息融入大型语言模型（LLM），以提高知识图谱补全（KGC）任务的效果。现有的LLM方法没有充分利用KG中重要的结构信息，因此作者提出了知识前缀适配器（KoPA）来实现结构感知推理。KoPA通过预训练理解KG中的实体和关系，并将其表示为结构嵌入向量。然后，KoPA通过知识前缀适配器将这些跨模态结构信息传递给LLM，使其在文本空间中投影并获得虚拟的知识标记作为输入提示的前缀。实验结果表明，引入跨模态结构信息可以显著提高LLM的事实推理能力。

如图所示，KoPA框架包括两个部分结构嵌入预训练（Structural Embeddings Pre-training）、知识前缀适配器（Adapter）。

在结构嵌入预训练阶段，该方法通过负采样自监督学习的方式学习每个实体和关系的结构嵌入，并将其编码为KG的结构信息，对于预训练模型可以选择传统的知识表示模型如TransE、RotatE等。这些结构嵌入被用于捕捉经典的结构信息，如关系模式和分布式实体表示。

在知识前缀适配器阶段，该方法应用了一个简单的投影层作为知识前缀适配器Adapter，将结构嵌入转换为虚拟的知识标记Prefix，并将其添加到输入序列Textual Tokens的前面。这样做的目的是让文本标记能够关注于输入三元组的结构嵌入，从而增强预测效果。