图形 RAG 和知识图谱
因为一位来自美国知名咨询公司的读者发邮件询问关于图形 RAG 的问题，尽管我在这个领域已经有一个季度没有进行研究，但本周我仍然回顾了过去 4-5 个月找到的 10 多篇论文。其中，只有一篇论文“LLM on Graphs”是在 DeepSeek R1 变得流行后发表的，其内容方向与去年的研究明显不同，开始重新考虑 LLM 和知识图谱的各种角色。
目前，基础 AI 创新仍然集中在 Transformer 和大模型训练本身。每当大型模型升级时，基于 LLM 的 RAG、代理和知识图谱（本文将讨论）都会做出相应调整。
知识图谱（KG）的发展趋势已经从早期的HippoRAG、GraphRAG提升 LLM 准确性和减少幻觉，转向更垂直的应用，专注于那些本质上适合知识图谱的行业，如交通运动图、智能关系图、生物分子图和特定的金融分析领域。
下图来自“LLM on Graphs”，这篇论文是在 DeepSeek R1（以其强大的推理能力而闻名）背景下发表的，更多关注这些传统上适合知识图谱应用的领域。
我记得 Andrew Ng 在 2024 年初提到，大致意思是，使用高质量提示和工具的 GPT-3.5 可以达到接近 GPT-4 的效果；模型本身无法达到极高的智能水平，因此通过添加问题重写、思维链、示例、多次迭代循环和知识图谱来提升性能。但现在 LLM 能力又显著升级，这些之前的优化机制必须相应调整，低效的方法将被淘汰。这是一次重大升级，实际上使得之前那些小的改进机制失去了重要价值。
经过持续研究，我发现知识图谱领域似乎并不太乐观，未来潜力有限。在我的文献回顾中，整个领域给人一种相当停滞的印象。使用知识图谱来增强 LLM 只是那个特定阶段的过渡手段。虽然 GraphRAG 和 HippoRAG 曾经吸引了理论关注，但它们目前的效果并不理想，代表了相对失败的探索。相比之下，RAG 被反复提及，因为它确实具有更明显的实际价值，并且已经部署了实际产品。
让我们通过几篇论文共同探讨这个话题。
01
回顾现在，2024年使用知识图谱增强LLM能力的论文看起来有些幼稚。那时，LLM存在幻觉问题，但现在新的LLM能够准确回答问题，甚至比那些增强了知识图谱的LLM更准确。
下面的图来自G-Retriever（2024.05.24）。现在来看这样简单的问题：
G-Retriever仅仅是在识别图像，而现在的LLM具有解析能力，可以识别丰富的文本和图像：
对于根据图像中的位置撰写500字广告的中间任务，我只是截了屏并将其发送给Claude。Claude不仅达到了字数要求，还注意到了山上的雪，而G-Retriever论文的回答甚至没有注意到这一点：
下面展示的HOLMES系统当时也使用图增强来提升LLM能力。仅仅识别相关文档并构建实体-文档链接图容易导致无关节点的问题，因此HOLMES通过与问题对齐提取最相关的信息：
还有像GEAR的SynGE使用“Gist Memory Constructor”和“Rewriter”进行多步骤迭代的方法，使用“RRF”（Reciprocal Rank Fusion）生成最终输出：
最著名和全面的知识图谱方法KAG现在很少被报道，实际产品测试显示效果不佳。它本质上结合了各种知识图谱RAG项目。如果你真的想了解知识图谱RAG，KAG的论文是最推荐的——它非常典型，结合了各种探索性的理论框架（理论研究者可能会喜欢这一点）。
下面是整体框架，结合了许多理论，但产品性能一般：
左侧KAG-Builder：
• 首先收集文档 • 通过索引管道处理这些文档 • 构建领域知识库 • 创建“相互理解”索引，支持图结构与原始文本块之间的相互索引，知识与块的交叉索引结构以整合更丰富的上下文文本信息
右侧KAG-Solver：一个逻辑形式引导的混合求解和推理引擎
• 具有“逻辑形式求解器” • 能够规划、检索推理并生成答案 • 使用符号表示来帮助解决问题 • 与知识图谱对齐并提供反馈
底部KAG-Model：
• 由NLU（自然语言理解）、NLI（自然语言推理）和NLG（自然语言生成）组成 • 这些组件帮助系统理解问题并生成答案
更详细的过程：处理流程（上部分）
• 用户问题 → NLU（信息提取将问题转换为逻辑形式） → NLI（语义对齐执行实体链接和概念关联） → NLG（知识注入基于知识和逻辑约束生成答案）
知识表示（中间部分）
• LLM友好的知识表示：设计易于大语言模型理解的知识结构 • 整合领域知识图谱：包含领域概念和关系 • 模式和领域概念：在左侧提供结构化的概念框架 • 逻辑规则和领域逻辑概念：在右侧提供推理规则
底层处理（下部分）
• KAG builder：领域文档 → 信息提取 → 概念关联 → 为知识图谱中的节点和关系生成描述/摘要 • KAG builder还有一个专用的管道图：
KAG的数据处理甚至参考了DIKW（数据、信息、知识、智慧）层次结构：
02
在2024年，使用知识图谱增强LLM并不太成功，因此从2024年12月开始，研究开始转向利用LLM帮助知识图谱。
例如，SparqLLM（2025.02.03）使用LLM和RAG将用户的自然语言查询转换为SPARQL查询，使非专业人员无需学习语言即可对RDF知识图谱进行问答。该过程自动化了提取、转换和加载（ETL）工作流程：
1. 提取：从原始源（如数据库、文档）获取数据。 2. 转换：通过编码和本体映射将数据转换为知识图谱三元组。 3. 加载：存储到向量数据库和元组存储中。
然后是RAG（检索增强生成）：
• 当LLM生成SPARQL时，它从向量数据库中检索相关模板作为上下文，从而提高查询的准确性。 • 例如：当用户询问“某个产品的供应商是谁？”时，系统检索类似模板，如 SELECT ?supplier WHERE { product :supplier ?supplier }以帮助生成最终查询。
另一种方法是使用LLM预测“LLM at TSP”（2024.12.24）中的缺失三元组。TSP（三元组集预测）任务：给定一个现有的知识图谱（KG），提示引导LLM挖掘潜在存在但未明确存储的三元组，从而“补全”知识图谱。输入：来自知识图谱的关系列表，以及一些已知三元组或实体-关系信息（可选）。提示：这些关系名称或示例三元组作为上下文提供给LLM，促使其生成可能的逻辑规则。
有效规则：发现的规则经过筛选，保留合理且有意义的规则，形成有效的规则集。子图Gj与发现的规则匹配。然后，基于每个子图中的现有三元组加上适用规则，提示LLM预测潜在缺失的三元组。最后，将来自各个子图的预测结果整合，形成整个知识图谱的最终三元组补全预测。
从图中可以看出，整个过程形成了一个闭环，首先挖掘规则，然后结合子图和规则进行三元组预测，最后整合所有子图的预测结果。
03
最后，让我们澄清一些概念，因为来自Marsh McLennan的美国人仍然对使用RDF图还是属性图（neo4j）感到困惑，甚至还有一种比RDF图三元组更简单的概念图。
属性图适合于实体属性和复杂关系建模，通常强调关联和属性分析，通过边缘属性描述更多信息，使其更加紧凑。RDF图强调语义关系和推理，在构建语义网络和数据互操作性方面具有优势。
同时，RDF的优势在于其简单性——所有数据都是三元组形式，并且使用无模式数据建模，具有高灵活性。例如，KAG的开源项目OpenSPG提供用户定义的Schema功能，HOLMES论文也提到添加Schema以优化知识库构建。
总之，我看到的所有KAG和GraphRAG研究都使用RDF三元组，因为LLM本身是基于语义的，并且需要语义。
下图展示了一个季度前研究的一些知识图谱RAG论文/项目，均使用RDF三元组：
以下是属性图和RDF图之间差异的简要介绍：
属性图数据库的共同特征：
• 节点：图中的实体，标记为0到多个文本标签以指示其类型，相当于实体。 • 边：节点之间的方向链接，也称为关系。相应的“从节点”称为源节点，“到节点”称为目标节点。边是有方向的，每条边都有一个类型；可以在任何方向上导航和查询。相当于实体之间的关系。 • 属性：键值对；顶点和边都有属性。
下图显示了包含演员、导演及其参与的电影或电视节目数据的部分属性图。节点用椭圆表示。节点标签显示为深蓝色。关系用灰色箭头表示，箭头指向一个节点到另一个节点，每个关系的类型用红色显示。属性显示为金色圆角矩形，并通过红色箭头连接到各自的节点和关系。
RDF图数据模型主要由两个部分组成：
• 节点：对应于图中的顶点，可以是具有唯一标识符的资源，或是字符串或整数等值内容。 • 边：节点之间的方向链接，也称为谓词或属性。入节点称为主语，出节点称为宾语。两个通过边连接的节点形成主语-谓词-宾语语句，也称为三元组。边是有方向的，可以在任何方向上导航和查询。
RDF代表资源描述框架，因为在RDF图中，一切都称为资源。边和节点只是资源在给定语句中扮演的角色。基本上在RDF中，没有区分扮演边角色的资源和扮演节点角色的资源，因此一个语句中的边可以在另一个语句中是一个节点。
RDF数据模型比属性图更丰富，并保持语义一致性：
概念图或概念图以RDF表示实体和关系为节点。我只在美国网站上见过这个；在中国没有相关研究：
结尾
根据我的研究，我得出结论，如标题所示，知识图谱以前作为RAG子领域用于优化LLM的逻辑能力并减少幻觉，但这并未证明非常有效。相反，由于不准确的知识图谱检索，它往往引入了噪声。现在，我们开始使用LLM来开发知识图谱本身，并深入探讨在互联网时代被识别为适合知识图谱的领域。LLM on Graphs和SparqLLM是这一转变的两个信号。
在最近几个月，知识图谱相关的AI研究相对不受欢迎，大多数内容集中在代理上。
现在，Claude的丰富文本解析变得如此强大，知识图谱可以像其他丰富文本和图像中的表格一样被LLM直接索引。与知识图谱相比，我对多模态丰富文本解析的研究更感兴趣，例如CoSyn，这更为实用。
