DO-RAG：一种使用知识图谱增强检索辅助生成的领域特定问答框架 - 清华大学等

摘要

领域特定的问答系统不仅需要生成流畅性，还需要基于结构化专家知识的高事实准确性。尽管最近的检索辅助生成（RAG）框架提高了上下文召回率，但它们在整合异构数据和保持推理一致性方面存在困难。为了应对这些挑战，我们提出了DO-RAG，一个可扩展且可定制的混合问答框架，它结合了多级知识图谱构建与语义向量检索。我们的系统采用了一种新颖的代理思维链架构，从非结构化的、多模态文档中提取结构化关系，构建动态知识图谱以提高检索精度。在查询时，DO-RAG融合图谱和向量检索结果以生成上下文感知的响应，然后通过基于精细化的消解来减轻幻觉。在数据库和电子领域的实验评估显示接近完美的召回率和超过94%的答案相关性，DO-RAG的性能比基线框架高出高达33.38%。通过结合可追溯性、适应性和性能效率，DO-RAG为大规模多领域高精度问答提供了一个可靠的基础。

核心速览

研究背景

1. 研究问题
   ：这篇文章要解决的问题是如何在特定领域（如数据库和电气工程）中构建一个高效且准确的问答系统。现有的检索增强生成（RAG）框架虽然在上下文召回方面有所改进，但在整合异构数据和保持推理一致性方面存在挑战。
2. 研究难点
   ：该问题的研究难点包括：捕捉技术手册和多模态资源中实体之间的复杂关系、手动构建和维护高质量的领域特定知识图谱、以及在生成过程中减少事实错误。
3. 相关工作
   ：该问题的研究相关工作有：早期基于规则的方法、集成结构化知识的先进方法、大型语言模型（LLMs）在通用领域的应用、以及RAG框架在提高事实一致性的应用。然而，现有方法在处理特定领域的复杂查询时仍存在局限性。

研究方法

这篇论文提出了DO-RAG，一种用于特定领域问答的框架，通过知识图谱增强的检索和生成来解决现有方法的不足。具体来说，

1. 多级知识图谱构建：首先，设计并实现了一个分层的代理提取管道，处理文本、表格、代码片段和图像，自动构建和更新一个知识图谱，捕捉实体、关系和属性。

   

   
   

2. 混合检索融合：开发了一种统一的机制，在查询时将图遍历与语义搜索相结合，确保所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示。

   

   
   

3. 基于事实的幻觉缓解：引入了一个生成后的细化步骤，将初始LLM输出与知识图谱进行交叉验证，并迭代纠正不一致性，显著减少事实错误。

4. 模块化设计：框架支持多种LLMs和检索模块的无缝组件交换和直接扩展到新领域，无需重新训练。

实验设计

为了评估DO-RAG框架，选择了SunDB（分布式关系数据库管理系统）作为专业领域。实验设计包括以下几个方面：

1. 硬件和软件
   ：实验在一台配备64GB RAM、NVIDIA A100 80GB GPU和1TB硬盘的高性能Ubuntu工作站上进行。实验软件包括Lang-Fuse、Redis、MinIO和ClickHouse等。
2. 数据集
   ：使用了两个数据集进行评估：主要的SunDB数据集和次要的Electrical数据集。每个数据集包括245个专家策划的问题及其真实答案，并标注了来源位置以便精确验证。
3. 指标和工具
   ：评估聚焦于四个核心指标：答案相关性（AR）、上下文召回率（CR）、上下文精确度（CP）和忠实度（F）。这些指标使用RAGAS、DeepEval和Lang-Fuse进行计算。
4. 基线比较
   ：外部基线比较包括FastGPT、TiDB.AI和dify.AI；内部基线比较则对比了有无知识图谱集成的DeepSeek-R1和DeepSeek-V3。

结果与分析

1. 外部基线比较：在测试的语言模型中，SunDB.AI在所有基线中表现最佳，比FastGPT、TiDB.AI和Dify.AI分别提高了1.70%、24.02%和17.72%。

   

   
   

2. 内部基线比较：知识图谱集成对DeepSeek-R1和DeepSeek-V3的影响显著。集成知识图谱后，两者的上下文召回率均达到1.000，DeepSeek-V3的答案相关性和上下文精确度分别提高了5.7%和2.6%。

3. 领域特定性能：在SunDB和Electrical领域中，上下文召回率值均达到或接近1.0。答案相关性、上下文精确度和忠实度的变化揭示了模型之间的特定优势。

总体结论

这篇论文介绍了DO-RAG，一种用于特定领域问答的检索增强生成框架。DO-RAG通过代理链式思维提取管道将非结构化的多模态领域数据转换为动态的多级知识图谱，并将图遍历与语义向量搜索相结合以检索丰富的上下文信息。生成后的细化步骤进一步增强了事实准确性。在数据库和电气工程领域的实证结果表明，DO-RAG在上下文召回率和答案相关性方面表现出色，比现有基线框架提高了高达33.38%。这些发现展示了DO-RAG在特定领域中提供稳健、高精度问答的有效性，统一了结构化知识表示和生成推理，为可扩展和自适应的信息系统提供了可靠的基础。

论文评价

优点与创新

1. 多阶段知识图谱构建
   ：设计并实现了一个分层的、基于代理的提取管道，能够自动构建和更新一个捕捉实体、关系和属性的动态知识图谱。
2. 混合检索融合
   ：开发了一种统一的机制，在查询时将图遍历与语义搜索相结合，确保所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示。
3. 基于事实的幻觉缓解
   ：引入了一个生成后细化步骤，通过将初始LLM输出与知识图谱交叉验证，迭代纠正不一致性，显著减少事实错误。
4. 即插即用的模块化
   ：框架支持多种LLM和检索模块的无缝组件交换和直接扩展到新领域，无需重新训练。
5. 高准确率
   ：在数据库和电气工程领域的专家策划基准测试中，DO-RAG实现了接近完美的上下文召回率和超过94%的答案相关性，比现有RAG平台高出高达33.38%。

不足与反思

1. 对语言模型的依赖
   ：框架依赖于语言模型，尽管有知识图谱的基础，但创意模型如DeepSeek-R1偶尔会引入幻觉。
2. 数据集限制
   ：每个领域的数据集仅限于245个问题，可能无法捕捉到罕见或边缘情况的查询，限制了泛化能力。
3. 计算开销
   ：多代理提取和混合检索的计算开销虽然经过优化，但在大规模部署的实时更新中仍然显著。
4. 未来的工作
   ：未来将专注于通过更严格的提示工程来增强幻觉缓解，优先事实一致性。扩展数据集以包括多样化和边缘情况的查询将提高鲁棒性。探索分布式处理和自适应缓存机制将增强可扩展性和减少延迟。

关键问题及回答

问题1：DO-RAG框架在知识图谱构建方面有哪些独特的设计？

DO-RAG框架设计了一个分层的代理提取管道，用于多级知识图谱的构建。具体来说，该管道包括四个专门化的代理，分别在不同的抽象层次上操作：

• 高层代理
  ：识别结构元素（如章节、节、段落）。
• 中层代理
  ：提取领域特定的实体，如系统组件、API和参数。
• 低层代理
  ：捕获细粒度的操作关系，如线程行为或错误传播。
• 协变量代理
  ：为现有节点附加属性（如默认值、性能影响）。

这种多层次的代理提取方法确保了知识图谱的动态构建和更新，能够捕捉到实体、关系和属性的多粒度信息，避免了冗余，并通过合成摘要节点来简化图谱结构。

问题2：DO-RAG框架如何结合图遍历和语义向量搜索来进行混合检索？

1. 图遍历：用户提交问题后，DO-RAG首先使用基于LLM的意图分析器对问题进行结构化分解，生成子查询以指导从知识图谱中的检索。然后，它通过语义相似性检索相关节点，并进行多跳遍历以扩展检索范围，生成结构化的领域特定上下文。

2. 语义向量搜索：将图遍历得到的上下文用于重写和消除歧义的问题，生成一个更具体和明确的查询。然后，这个查询被编码成一个密集向量，并用于从向量数据库中检索语义相似的文本块。

3. 结果整合：最后，DO-RAG将所有相关信息源（原始用户查询、其重写版本、知识图谱上下文、检索到的文本块和用户交互历史）整合到一个统一的提示结构中，并传递给生成管道。

这种方法确保了所有相关的、结构化的信息都能通知大型语言模型（LLM）的提示，从而提高检索的准确性和生成的上下文丰富性。

问题3：DO-RAG框架在生成答案时如何进行基于事实的幻觉缓解？

DO-RAG框架引入了一个生成后的细化步骤，用于基于事实的幻觉缓解：

1. 初始生成：首先，使用一个初始的提示指导LLM生成答案，同时明确避免不支持的内容。

2. 细化提示：生成的答案通过一个细化提示进行重构和验证，确保答案的事实一致性和清晰度。

3. 压缩阶段：细化后的答案通过一个压缩阶段进行调整，以确保答案的连贯性和简洁性。

4. 后续问题生成：为了增强用户参与度和模拟专家指导，DO-RAG还根据细化后的答案生成后续问题。

此外，如果系统无法找到足够的证据，模型会返回“我不知道”，以保持可靠性并防止幻觉。这种细化步骤显著减少了事实错误，提高了答案的准确性和可靠性。