企业专家智能体 | “从数据到知识”，大模型时代的知识库建设

企业软件架构的演进要求：从数据到知识

传统的数据建模方法已经难以满足当前的需求，近10年来，NoSQL、大数据、数据湖、中台都提出了超越传统数据管理方式的挑战。当今环境数据的复杂性要求有更强大的建模范式：知识。

企业的发展与生长过程中会沉淀下各种“文档”，不论是生产、运营还是对外关系都记录着企业独特的成功经验，也为后续的工作持续提供“企业内部专家”级别的指导与赋能，最终实现效率提升、结构升级的生产与运营目标。

知识库是企业中用于集中存储、分类、管理和检索知识的系统。它的核心作用是将企业内部的知识资源进行有效地整合和优化，以便快速获取所需的信息和知识，从而提高工作效率和决策质量。

知识库的前身可以追溯到古代文明时期的图书馆和档案室，它们是最早用于存储和传播知识的地方。随着印刷术的发明，知识开始以书籍、报告和手册的形式被广泛复制和传播。

20世纪末，计算机和信息技术的发展促使知识库开始向数字化转型，出现了电子文档管理系统。进入21世纪，随着人工智能、机器学习等技术的发展，知识库不仅能存储知识，还能智能分析、辅助问答。

数字化转型就是用“知识”改造手工业为大工业。

如今数字化的发展已经让几乎大部分东西都可以用“数字”来表示，所以“数字化转型”就只是关于数字吗？在文因近两年的积累中，逐渐探索出数字化转型的本质：用知识改造工作流程。

现在大多数的工作流程是一种手工业，我们要把手工业改造成大工业，将内部积累的隐性知识转化为显性知识。本质上来说，无论是客服也好、获客也好、合规也好、运营也好，其实都是关于知识的应用。

企业的数据架构经历了三次重大变化：

刚开始是传统的比较静态的数据仓库，七八年前演进到数据湖，有了针对各种非结构化数据实现实时抽取的能力。三四年前演进到技术中台、 AI 中台，能够实现平台级的业务服务能力。

最近一两年，我们需要更强大引擎，需要数字员工，需要信任机制，需要服务互联机制，需要智能服务的集成能力……

而这一切，都需要新的数据管理方式，就是知识管理的方式。

随着人工智能的发展与大模型技术的落地，看到我们几乎所有的企业管理软件被重新再做一遍将被改造成一种大工业工作，而这个改造的过程核心是依靠人工智能的力量，其中最核心的就是依靠大模型的力量。

在今后的 10 年内之内，我们将看到几乎所有的企业管理软件会被重塑，传统的 ERP 系统、 BPM 过程管理系统、CRM 客户管理系统、供应链管理系统、SCM 系统等，所有的这些系统都会被人工智能重塑。

建设一个“企业专家级别”知识库，文因在从实践中总结出四个步骤：

早期的知识库多依赖于纸质文档和简单的数据库系统，维护和检索效率较低，且难以实现跨地域的知识共享。目前，文因利用云计算、大数据和人工智能等技术，建设更高效地存储、检索、分析和个性化服务的知识库，让企业内部真正有价值的知识可以快速共享、创新应用。

知识库的原始文档通常是各种 PDF 文件，如何从中把核心知识给提取出来？知识库构造的四个层面及方法：

对原文进行向量化，根据知识密度和应用需要，用相应切分规则获取知识。核心是对原文句子进行建模，用向量数据库技术对原文进行向量化。因为如果把原始句子直接使用，就会忽略大量的信息，尤其是领域相关上下文信息和领域知识。

比如我们在用大模型通过证券业从业资格考试的时候，要让大模型先读两本教辅材料，大概有100万字（7、8万个句子）。把每个句子原样给大模型，效果不会很好。所以我们把这些句子先映射成知识点，再把知识点向量化，最后这些句子变成 1.5 万个知识点再给大模型，效果就好了很多。

这个转化的过程需要业务分析，上述的这次业务分析只花了两天时间，但大幅提高了效率。仅仅是知识向量化这样一个单点技术，就使得我们的整个训练时间下降了 10 倍，这是工程上非常了不起的成就。

对原文进行中心思想的提取，再对每个中心思想提出一个问题，并用原文解答该问题。把原始的知识放到知识库，并不仅仅把原文放进去。我们对原文的中心思想进行提取，并对应进行各种模拟场景问答，让大模型在获得知识的同时也获得亚里士多德式教学（问答式教学）。也就是说，我们并不仅仅把原始答案给大模型，也会向大模型抛出问题，让它回答。

这个方法本身就有很多应用场景，比如银行经常需要对员工进行各种规章制度的考核。通常会需要很多咨询公司来帮我们设计问题，现在用大模型来设计问题，就可以大幅减少在这部分培训上的成本。

解析原文的章节结构，并进行相应的知识提取。以金融文档为例，它跟一般的新闻不一样，会有非常复杂的章节结构，而章节结构本身就包含着大量的业务知识，仅仅是章节的语法结构提取就已经有业务意义了，就是完整性检查。

现在很多证券业特别是债券发行或股票发行，都会要求做完整性检查，规定章节内必须有规定内容，所以能够进行章节知识的构造时，我们就能进行完整性检查了。另外还有合规性检查、规范性检查。例如，第一章之后应紧跟第二章，第二章之后应是第三章。这听起来是理所当然的，但实际上，许多招股书并未满足这一要求。

抽取关系三元组，利用图数据库构成图谱知识，实现问答增强。这是比较深层次的要求了，虽然在很多知识库场景中，仅仅进行句子级别的现代化就够了，但是还有一些场景需要更细粒度的句子内部的知识理解。

比如公告，平均一个公告大概有十几个数据点，一份招股书就有上万个数据点，把每一个数据点变成一个三元组，通过大模型大幅提高构造知识图谱的能力，从而帮助我们更加精准地实现问答增强的目标。

业务痛点：企业与监管政策制度经常发生更新与变化，如何快速整理合规制度文档，指导企业内部规章制度的制定与员工行为管理。

LLM解决方案：提取政策制度知识，构建政策制度知识库，并进一步进行制度比对和分析，与员工行为分析。

场景拓展：政策制度解读可广泛应用于银行、保险、证券、基金等金融机构的内部合规管理中。

业务痛点：航空安全问题是航空企业工作的重中之重。而当前航空飞行数据仍采用传统手段分析，飞行安全质量管理手段有待加强。

LLM解决方案：充分挖掘数据与建模预测，构建智库和调度大脑，辅助飞安管理。

场景拓展：大模型结合数据库的数据分析，可拓展至金融、电力等其他领域的指标查询分析场景中。

业务痛点：企业内部存在大量的文档编写需求，其中很多文档内容制式化程度较高，且依赖大量的外部文档引用，文档编写费时费力。

LLM解决方案：进行文档章节解析，根据章节内容生成素材知识。

场景拓展：文档辅助撰写可广泛应用于企业内部各类文档编写工作中，可在金融、电信、工程、电力等众多领域发挥作用。

业务痛点：财务科目指标繁多，分析任务繁重，且需要深厚的财务知识背景，相关工作耗费大量时间。

LLM解决方案：提取财务报表中的各项财务科目，根据分析要求进行财务信息的查询及指标计算，并可进行摘要总结。

场景拓展：财务指标分析可广泛应用于券商IPO尽调、银行信贷尽调、财务审计等金融领域的业务场景中。

业务痛点：银行产品种类多更新快，如何快速了解产品信息，更加高效地向客户推荐合适的产品，是当前金融展业营销工作亟待解决的问题。

LLM解决方案：提取产品文档中的知识点，根据业务需要生成知识问答或营销话术，也可通过相似度进行产品推荐。

场景拓展：通过大模型构建产品知识库，可从银行、证券拓展至保险、电信等其他领域，助力其产品营销工作开展。