上一代知识问答的回顾

   本文是从《知识图谱-方法、实践与应用》（中信出版社）的第8章摘抄的核心内容，主要是分享上一代知识问答的技术思路，方便与现在大语言模型的技术做对比。

一、 知识问答概述

             

问答系统应具备四大要素：1）问题，常常以问句的形式出现。2）答案，除了文本表示的答案，有时候也需要输出一组答案，候选答案甚至是多媒体信息。3)智能体，是问答系统的执行者理解问题，掌握并使用知识库解答问题，最终生成人能理解的答案。4）知识库，存储存问答系统的知识，其形态可以是文本、数据库或知识图谱。

也有将知识库编码到计算机模型中，例如逻辑规则、机器学习模型和深度学习模型。

根据问题的功能，可以把用户提出的问题分为事实性客观问题和主观深层次问题，后者需要一定的专业知识和主观推理计算才能得到答案。

知识库的类型可以领域相关的问答知识库和领域无关的知识库，前者需要领域专家的深度参与，问题覆盖面小的，但答案的准确率高。知识库的信息组织包括3种，1）文本类知识库，2）半结构化和结构化的知识库，包含二维表格、图数据库等，3）包含多媒体的知识库，4）知识库也可以利用可计算的机器学习模型为承载。例如近年来（本文2019年）出现的端到端的问答系统可以直接使用分布式表示模型记录学习得的知识。

智能体利用知识库实现推理。根据知识库表示形式的不同，目前的知识问答可以分为传统问答方法(符号表示)以及基于深度学习的问答方法(分布式表示)两种类型。传统问答方法使用的主要技术包括关键词检索、文本蕴涵推理以及逻辑表达式等，深度学习方法使用的技术主要是LSTM、注意力模型与记忆网络(MemoryNetwork)等。 

传统的知识库问答将问答过程切分为语义解析与查询两个步骤。首先将问句通过语义解析转化为SPARQL查询语句。基于分布式表示的知识库问答利用深度神经网络模型，将问题与知识库中的信息转化为向量表示，通过相似度匹配的方式完成问题与答案的匹配。

二、 知识问答系统

             

1、NLIDB，早期的回答系统(20世纪六七十年代）

这些系统包括了如下模块：1）实体识别（Named Entity Recognition）,通过查询领域词典识别命名实体；2）语义理解（Question2Query），利用语法解析，如词性分析，动词分析以及语义映射规则等技术将问题解析成语义查询语句；3）回答问题（Answer Processing)通常通过简单查询和其他复杂查询获得答案。

所采用的技术包括：1）基于模式匹配（Pattern-Matching），可以将问题映射到查询，这种语义理解技术简单便捷且不依赖于过多的语法分析工具，后来发展成KBRQ中基于模板的语义理解方案。2）基于语法解析（Syntactic-Parsing），将自然语言的复杂语义转换为逻辑表达式。句法分析器的树状结果，仍然需要人工生成的语义规则和领域知识来理解，进而转化成一种中间层的逻辑表达式。语法树分析为处理更为复杂的问题以及简单的问题的语法变形提供了便利，但是这也同时依赖于语法分析工具的正确性。

2、IRQA，基于信息检索的问答系统

其核心思想是根据用户数的问题结合自然语言处理以及信息检索技术，再给定文档集合，或者在互联网网页中筛选出相关的文档，从结构文档中抽取关键文本作为候选答案。最后对候选答案进行排序返回最优答案。

所采用技术包括：1）问题处理，从不同角度理解问题的定义，明确知识检索的过滤条件和答案类型判定。2）段落检索与排序。基于提出的关键词进行信息检索，对检出的文档进行排序，把排序之后的文档分割成合适的段落，并对新的段落进行再排序，查找最佳答案；3）答案处理。根据最后排序后的段落，结合问题处理阶段定义的答案类型抽取答案。形成答案候选集，再对答案候选集进行排序，返回最优解。

3、KBQA，基于知识库的问答系统

特指使用基于知识图谱解答问题的问答系统，与前面的主要差异是采用了相对统一的基于RDF表示的知识图谱。并把语义理解的结果映射到知识图谱的本体后生成SPARQL查询解答问题。通过本体可以将用户问题映射到基于概念拓扑图表示的查询表达式，也就对应了知识图谱中的某种子图。

所采用技术：(1)问题分析。主要利用词典、词性分析、分词、实体识别、语法解析树分析、句法依存关系分析等传统NLP技术提取问题的结构特征，并且基于机器学习和规则提取分析句子的类型和答案类型。知识图谱通常可以为NLP工具提供领域词典，支持实体链接;同时，知识图谱的实体和关系也可以分别用于序列化标注和远程监督，支持对文本领域语料的结构化抽取，进一步增补领域知识图谱。

(2)词汇关联。主要针对在问题分析阶段尚未形成实体链接的部分形成与知识库的链接，包括关系属性、描述属性、实体分类的链接。

(3)歧义消解。一方面是对候选的词汇、查询表达式排序选优，一方面通过语义的容斥关系去掉不可能的组合。在很多系统中，歧义消解与构建查询紧密结合：先生成大量可能的查询，然后通过统计方法和机器学习选优。

(4)构建查询。基于问题解析结果，可以通过自定义转化规则或者特定(语义模型语法规则)将问题转化为查询语言表达式，形成对知识库的查询。QALD的大多系统使SPARQL表达查询。

4、Hybrid QA Framework 混合问答系统框架

从结构化数据出发的KBQA 重精准的问题理解和答案查询，但是结构化的知识库总是有限:从非结构化文本出发的 IRQA 侧重于利用大量来自文本的答案，但是文本抽取存在精度问题且不容易支持复杂查询与推理。

IRQA 主导的混合框架的技术扩展了如下技术内容：1）候选答案评分，针对每个候选答案选取一些重要特征，并对各个特征打分并形成答案的特征向量。2）答案融合及排序，对新的答案候选集进行再排序，最终由训练好的逻辑回归分类器每个候选答案计算置信度，并返回置信度最高的答案作为最终答案。创新点是同时从IRQA和KBQA获取大量候选答案，并以大量答案佐证作为特征形成答案特征评分向量，这一点正是单独IRQA系统和KBQA系统没有做到的。

KBQA主导的混合框架的技术扩展了如下技术内容：要求KBQA 可以同时利用知识图谱数据和文本数据,自然语言先转化为SPARQL查询，有一部分知识还需要从文档中抽取关系得到解答。这样可以避免前期过度的文本抽取工作，也能适应现实中更常见的图谱和文本混合的知识库。

还有一种Frankenstein问答系统的流水线架构，它将 KBQA 分成基于四类核心模块流水线。模块化的流水线设计有利于将复杂的QA系统分解为细粒度可优化的部分，而且形成了可插拔的体系。

三、 KBQA前言技术

             

本书作者在前沿技术开头如是说：

目前还存在两个很大的困难阻碍着KBOA系统被广泛应用。一个困难是现有的自然语言理解技术在处理自然语言的歧义性和复杂性方面还显得比较薄弱。例如，有时候一句话系统可以理解，但是换一个说法就不能理解了。另一个困难是此类系统需要大量的领域知识来理解自然语言问题，而这些一般都需要人工输入。一些系统需要开发一个专用于一个领域的基于句法或者语义的语法分析器。许多系统都引入了一个用户词典或者映射规则，用来将用户的词汇或说法映射到系统本体的词汇表或逻辑表达式中。通常还需要定义一个世界模型(WorldModel)，来指定词典或本体中词汇的上下位关系和关系参数类型的限制。这些工作都是非常消耗人力的。

到今年，随着大语言模型如雨后春笋般出现，本书所说的前沿技术突然就不前沿了，因此我就摘抄了。