企业实践

T-RAG=RAG+微调+实体识别

2024 年 3 月 28 日

T-RAG技术将 RAG 架构与开源的微调语言模型 (LLM) 和实体树向量数据库相结合的基础之上，用于支持语境检索。

背景介绍

大型语言模型 (LLM) 在各个领域得到越来越广泛的应用，尤其在使用私有企业文档的问答场景中。但由于数据安全性和模型稳定性至关重要，定制化成为必然。

本文分享了针对企业私有文档、使用 Tree-RAG (T-RAG) 系统部署 LLM 问答应用的经验。

这种方法集成了实体层级信息以获取更优异的表现，而评估结果验证了它的有效性。这些经验对于将 LLM 落地到实际应用中具有实际指导意义。

由于文档的敏感性，安全风险成为首要考虑。为避免数据泄露，使用公有 API 调用私有 LLM 模型的方法变得行不通。这就需要使用可以部署在内部的开源模型。此外，有限的计算资源和基于现有文档建立的小型训练数据集都会带来相应的挑战。

如何在这样的环境下确保对用户问询提供可靠、准确的响应，就需要大量的定制化工作，进而衍生出了一系列复杂的考量因素。

这项研究的价值在于，他们提出了一种结合检索增强生成 (RAG) 方法和基于企业文档数据集微调的开源 LLM 模型的应用。

此外，本研究还提出了一个新的评估指标，称为“Correct-Verbose”。旨在评估所生成回复的质量。该指标既考察答复的正确性，也兼顾答案是否涵盖了问题范围之外的其他相关信息。

Tree-RAG (T-RAG) 的工作流程如下...

在面对用户的问题时，系统先从向量数据库中搜索相关的文档片段用作 LLM 的背景知识。

如果查询中提到了任何与组织相关的实体，系统将从实体树中提取关于这些实体的信息并添加到背景知识中。随后，经过微调的 Llama-27B 模型会根据已呈现的信息生成答复。

T-RAG 的一个显著特点是在向量数据库之外引入了实体树 (entities tree) 来辅助语境检索。这个实体树中储存了与企业组织相关实体的详细信息以及它们的层级结构。树中的每个节点都代表一个实体，父节点表明该实体所属的组别。

在检索过程中，T-RAG 可以利用实体树来增强从向量数据库中检索到的语境信息。实体树的查询和语境生成过程如下：

结合上图，我们用一个组织结构图中的实例来直观说明语境生成过程中的树搜索和检索过程。

这项研究具有一定的启发性，因为它将 RAG 方法、模型微调与实体识别相结合。一方面，通过使用内部部署的开源模型来解决数据隐私问题；另一方面，有效地降低了推理延迟、token 使用成本，同时也兼顾了不同地区的用户需求。

此外，研究中采用了 spaCy 框架进行实体搜索和语境生成，这一方法也很有借鉴意义。而最重要的是，这不仅仅是一项理论研究，更是基于构建实际 LLM 应用的经验总结，具有很高的实践价值。

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

留下你的场景和痛点,我们帮你判断从哪一步开始。