最近OpenAI连续12天进行12场直播，发布新品。其中第八天介绍了ChatGPT搜索功能项全体用户开放。搜索增强大模型值得OpenAI安排一天专门介绍，和o1、ChatGPT Vision等功能同等待遇，说明其意义重大。
ChatGPT的外部搜索能力，使其不仅限于预训练的数据，而是可以实时访问和检索互联网的最新信息。这就是典型的知识增强大模型应用，通过外部知识的增强能够扩展 大模型 的能力，让其在回答问题时提供更为精准和及时的答案，特别是对于那些涉及到最近事件、新闻或需要快速更新的信息。
在这种增强功能下，ChatGPT 可以利用外部搜索引擎或数据库来查找实时数据。例如，如果你询问一个关于当前新闻事件的问题，ChatGPT 会通过搜索互联网来提供答案，而不仅仅依赖于其已有的训练数据。因为尽管GPT这样的大语言模型在许多任务中表现卓越，其在领域知识的准确性、及时性等方面仍存在许多局限性。从而这种搜索增强能力有助于提升 ChatGPT等大模型 在实际应用中的准确性和时效性，特别是在对一些较为专业或动态的知识应用上。本文是知识增强大模型应用架构的简要概述，更加详细的内容，可以参考我所撰写的即将出版的《知识增强大模型导论》一书。
2. 应用架构的设计原则
a. 集大成，避幻觉
应用架构的设计应强调集成性，避免单一模块主导全局，从而减少幻觉（hallucination）现象的发生。大模型负责基础理解，知识图谱、向量检索和搜索引擎负责结构化知识补充。多模块协同架构如同一个多层次的生态系统，稳健而高效。
b. 架构灵活，覆盖多场景
灵活性是知识增强大语言模型的核心特征。架构应适配不同的行业场景需求，从内容生成到知识问答，从智能搜索到业务推荐。通过模块化设计，用户可以根据场景选择不同的功能组合，从而提升系统的泛化能力与适配性。
c. 工欲善其事，必先利其器
实现高效的知识增强大语言模型离不开先进工具的支撑。向量检索、知识图谱和搜索引擎的引入，使得系统能够进行深度的语义理解与快速响应。
3. 知识增强大模型应用系统架构概览
知识增强大语言模型应用架构的核心思想是将外部知识以结构化或非结构化的形式注入大模型中，从而弥补模型自身知识的不足，这类似于人类学习过程中的“查阅资料”。从架构上，知识增强大模型应用系统通常将大模型作为通用知识处理的基础设施，同时结合文档搜索、数据库检索和知识图谱来注入高精度、领域化的知识内容。架构整体设计如图所示。
知识增强这种增强方式，通过检索相关信息来辅助理解和推理。具体而言，知识增强旨在解决以下几个关键问题：
a. 实时信息更新：通过搜索外部资源，大模型可以访问最新的内容，包括新闻、学术研究、市场动态等。
b. 回答精准度提高：不再局限于预训练时的信息，能够获取更全面、详细的答案。
c. 专业领域适应性：专业知识在预训练时过于稀疏，导致在实际应用中对越专业的知识表现的效果越差，而实际应用中，越专业的知识则价值越大。知识增强大模型应用能够有效跨越二者的鸿沟，实现高价值的应用。
d. 生成内容的可解释性： 使模型的推理过程更加透明和可理解。
知识来源与整合
a 公开知识：如公共数据集、开放领域的研究文献等。此部分主要是在预训练阶段被大模型所吸收，同时也可以通过通用搜索引擎（如百度、谷歌、微信搜一搜、Bing等）获取，通过提示上下文输入给大模型。
b 私有知识：利用小模型、或LoRA 技术训练，或者通过企业级搜索引擎、知识图谱等来为系注入企业专属的领域知识。私有知识的注入可通过知识图谱构建、文档管理和专家经验积累等途径实现。
关键模块设计
该架构由以下核心模块组成：
a. 数据管理：该模块负责数据的采集、导入、文档管理和数据源管理。这构成了知识增强的基础，高质量的数据是模型学习和知识库构建的关键。例如，从维基百科、专业领域数据库以及网络爬虫等渠道收集数据，并进行清洗、去重和格式转换。
b. 标注管理：包括数据集管理、语言和视觉标注、针对SFT和RLHF不同目标的样本标注、以及标注任务管理等。该模块负责对数据进行标注，包括NLP&CV标注、SFT和RLHF标注以及标注任务管理。标注的质量直接影响模型的训练效果。例如，使用人工或半自动化的方式对文本进行实体识别、关系抽取和情感分析等标注。
c. 模型管理：该模块负责商业模型对接、开源模型支持、指令微调和大模型评估。选择合适的基座模型并进行针对性的微调是知识增强的重要步骤。例如，使用预训练的LLaMA或Qwen或Deepseek等模型，并在需要的时候能够根据特定任务进行微调。提供对商业模型和开源模型的接入支持，结合模型评估技术，来进行模型选择。
d. 提示工程：该模块负责Prompt管理、Prompt优化、Prompt推荐、少样本学习和样本自动生成。精心设计的Prompt能够有效地引导模型利用外部知识。例如，在Prompt中加入关键词或上下文信息，以提示模型检索相关的知识。针对模型的输入优化，包含Prompt生成、推荐及小样本学习（Few-shot Learning）等方法。
e. 知识建模：即知识图谱模式设计，根据专业领域或特定任务的需求设计合理的知识图谱模式，并构建出企业内部的知识体系等。通过实体类型定义、关系建模与属性定义实现领域知识的图谱化构建。
f. 大模型图谱构建与应用：支持从自然语言到SQL（NL2SQL）的映射、抽取式构建知识、任务编排及在线效果测试等功能。
g. 应用模块：包括语义搜索、对话问答、可视化交互分析及定制化应用开发。知识增强的最终目标是应用于各种实际场景，提供更智能、更可靠的服务。例如，构建基于知识图谱的问答系统，能够准确回答用户提出的问题。
h. 审核管理：在许多场景下，比如在医疗、金融、制造业等各类严肃场合，需要对数据标注、知识图谱构建等进行审核，确保知识增强大模型应用的正确性。该模块负责人工审核任务管理、审核人员管理、人工审核任务编排、GPT审核、大模型审核和审核质量报表。审核机制保障了输出内容的质量和可靠性，尤其是在处理敏感或重要的信息时。
i. 系统管理： 该模块负责账号管理、权限管理、存储管理、监控报警、统计报表、图谱管理、业务词表管理和系统设置。完善的系统管理为知识增强应用的稳定运行提供了保障。
4. 增强方法的关键技术概要
当前增强大模型，为其提供知识的主要方法有知识图谱、向量检索、搜索引擎以及和为特定业务开发业务引擎。对知识图谱的详细介绍可参阅我所撰写的技术畅销书珠峰书《知识图谱：认知智能理论与实战》一书。对向量检索、搜索引擎以及大模型如何增强知识图谱的RAG和GraphRAG等技术，可参与即将出版的《知识增强大模型导论》一书。下面简要介绍这几种技术。
4.1. 知识图谱
知识图谱是一种以图结构存储领域知识的技术，通过节点和边的方式表示实体及其关系。每个节点代表一个实体（如人物、地点、事件、概念等），而边则表示这些实体之间的关系（如“属于”、“与...有关”）。知识图谱的设计能够直观、精确地呈现复杂的领域知识，便于进行有效的推理和查询。大模型产业落地难，知识图谱来帮忙！
在知识增强大模型中，知识图谱作为一种结构化的知识表示方式，能够为模型提供高效且权威的知识支持。例如，当模型面对一个需要领域知识的查询时（如“制造XXXX产品所使用的工艺是什么？”），它可以通过查询知识图谱直接获取答案，而无需依赖语言模型生成过程中的推理。通过知识图谱，模型可以避免生成不准确的信息，提升准确性和可靠性。
4.2. 向量检索
向量检索技术依赖于将文本、图像或其他类型的数据转换为高维向量，进而在向量空间中进行相似度计算和匹配。这种方式具有高度的语义表达能力，能够捕捉到文本的深层语义关联，而不仅仅是表面文字的匹配。
向量检索的核心优势在于能够处理模糊的输入和非结构化数据。例如，面对一个不完美的提问，模型可以通过计算输入文本与数据库中各个候选项的向量距离，快速找到最相关的信息。这种技术不仅提升了模型的健壮性，还可以支持跨语言搜索等。
4.3. 搜索引擎
搜索引擎是知识增强大模型中的一个重要组件，主要负责实时获取互联网或特定领域的信息。它与知识图谱和语言模型之间形成互补关系，尤其在面对动态信息（如新闻、天气、法规更新等）时，搜索引擎能够确保模型所提供的答案是最新的和最准确的。
搜索引擎的引入极大地扩展了知识增强大模型的知识库，使得模型能够及时获取和利用最新的事实和数据。例如，用户提问关于当天新闻或特定领域最新进展的问题时，搜索引擎可以帮助大语言模型实时获取并提供答案。
4.4. 业务引擎
业务引擎是知识增强大模型中面向具体行业或应用场景的一个模块，专门处理与特定业务相关的知识。这一模块通常会结合企业的内部数据，如产品信息、客户数据、交易记录等，从而使得大语言模型能够针对特定业务场景提供精准的服务。
业务引擎的作用是将知识检索与模型推理结合，确保模型能够根据实际业务需求，提供符合行业标准和用户需求的答案。例如，电商平台的智能客服机器人需要访问商品信息、订单记录和客户数据，以便能够准确、实时地回答用户的咨询问题。
5. 应用场景与实践
知识增强大模型的应用场景遍布多个行业，以下是典型案例的解析：
5.1. 医疗领域
在医疗问答系统中，通常会通过知识图谱负责补充权威医学信息，如药物相互作用、治疗指南等，同时使用搜索引擎则用于查询与药物、医院、医生和患者有关的最新信息。通过大模型、知识图谱和搜索引擎的协同来实现精准无幻觉的应用。
5.2. 智能客服
智能客服需要快速理解用户意图并提供准确回答。通过结合向量检索和业务引擎，系统能够从海量的知识库中检索最优解答。
5.3. 金融科技
在金融科技场景中，大语言模型可辅助生成投资报告，解释复杂的金融指标，并通过知识图谱分析公司之间的关联网络，帮助用户做出更明智的决策。
5.4. 智能制造
在智能制造领域，通过将产品、产线、物料、人员、机器设备、供应链、工艺、质量管控、环境参数等构建成知识图谱，通过复杂的关系推理来为制造业归因分析、工艺优化、设备维护等提供精准的知识支撑，实现有关业务场景的智能问答。
