精通RAG架构：从0到1，基于LLM+RAG构建生产级企业知识库

尼恩：LLM大模型学习圣经PDF的起源

• 惊天大逆袭：8年小伙20天时间提75W年薪offer，逆涨50%，秘诀在这

• 《LLM大模型学习圣经：从0到1吃透Transformer技术底座》 
• 《LLM大模型学习圣经：从0到1精通RAG架构，基于LLM+RAG构建生产级企业知识库》
• 《LLM大模型学习圣经：从0到1吃透大模型的顶级架构》

本文目录

- 尼恩：LLM大模型学习圣经PDF的起源

- 1. 大语言模型简介

- 1.1 大语言模型简介：探索AI的新边疆

 - 预训练语言模型（PLM）：NLP的瑞士军刀

 - 大语言模型（LLM）：AI进化的里程碑

 - LLM与PLM：大小之间的质变

 - 大语言模型的涌现能力：AI的新技能

 - 大语言模型的关键技术：构建AI的基石

- 1.2 大语言模型特点

 - 1. 具备涌现能力

 - 2. 训练数据大且难度大：

 - 3. 模型参数量大

 - 4. 生成的模型大

 - 5. 训练需要算力规模

- 1.3 大型语言模型四要素

 - 1. 算力：AI的心脏

 - 2. 算法：AI的大脑

 - 3. 数据：AI的养料

 - 4. 场景：AI的舞台

- 1.4 大语言模型应用

 - 1. 业务流程自动化

 - 2. 促进个性化交互

 - 3. 提升任务准确性

- 2. 检索增强生成（RAG）

- 2.2 RAG是什么？

 - 2.2.1 RAG的诞生背景

- 2.3 RAG技术概述与原理

 - RAG 概述

- 2.3 RAG系统的主要组件和工作流程

 - 2.3.1 RAG系统的核心组件与工作流程

 - 2.3.2 RAG工作流程的全景视图

- 2.3 RAG范式

 - 2.3.1 第一阶段，朴素RAG

 - 2.3.2 第二阶段，高级RAG

 - 2.3.3 第三阶段，模块化RAG

 - 2.3.1 预检索

 - 2.3.2 检索

 - 2.3.3 检索后

 - 2.3.4 生成

- 3. 网络爬虫与数据采集

 - 使用BeautifulSoup解析HTML

 - 清理HTML

 - 提取文本

 - 去除多余的空白和换行

 - 返回处理后的文本

- 4. 向量数据库与Embedding模型

- 4.1 为什么现在每个人都在谈论矢量数据库？

- 4.2 RAG 场景对向量数据库的需求

- 4.3 如何选择向量数据库

- 4.4 向量数据库对比

- 4.5 什么是Embedding？

- 4.6 向量之间的距离

 - 1. 欧几里德距离度量（Euclidean Distance）

 - 2. 曼哈顿距离度量（Manhattan Distance）

 - 3. 余弦距离度量（Cosine Distance）

 - 4. 切比雪夫距离度量（Chebyshev Distance）

- 4.7 如何选择嵌入模型

 - 常见的类Embbedding模型

 - Embbedding模型在RAG种的应用场景

 - 在哪里找到合适Embbedding模型？

 - Embbedding模型选型

- 4.8 嵌入是如何生成的？

 - 方式一：模型托管方式生成 嵌入

 - 开源的嵌入模型

- 5. 实战： 基于 Langchain+私有模型，构建一个生成级RAG 聊天机器人

 - 5.1 设置环境和依赖

 - 5.2 初始化LLM

 - 5.3 增强生成

 - 5.4 生成嵌入

 - 5.5 生成并存储嵌入

 - 5.6 查询嵌入

 - 5.7 检索增强生成

- 6. 实战： 基于 Langchain+公有模型，构建一个生成级RAG 聊天机器人

 - 6.1 准备工作

 - 6.2 加载配置

 - 6.3 索引：加载数据

 - 6.4 索引：切分数据

 - 6.5 索引：生成嵌入

 - 6.6 索引：存储嵌入

 - 6.7 查询检索

 - 生成

- 总结

- 说在最后：有问题找老架构取经

1. 大语言模型简介

1.1 大语言模型简介：探索AI的新边疆

预训练语言模型（PLM）：NLP的瑞士军刀

大语言模型（LLM）：AI进化的里程碑

LLM与PLM：大小之间的质变

大语言模型的涌现能力：AI的新技能

大语言模型的关键技术：构建AI的基石

1.2 大语言模型特点

1. GPT-3（175B）：

• 由OpenAI开发，是一个具有1750亿参数的大型语言模型。
• 预训练数据集包含3000亿个token，来源包括CommonCrawl、WebText2、Books1、Books2和Wikipedia。
• PaLM（540B）：
• 由Google Research提出，是一个具有5400亿参数的多任务、多模态大型语言模型。
• 预训练数据集包含7800亿个token，来源包括社交媒体对话、过滤后的网页、书籍、Github、多语言维基百科和新闻。
• LLaMA：
• 是Meta AI提出的一种大型语言模型系列，具有不同的大小变体，从6亿参数到65亿参数不等。
• 训练数据来源多样，包括CommonCrawl、C4、Github、Wikipedia、书籍、ArXiv和StackExchange。
• LLaMA（6B）和LLaMA（13B）使用了1万亿个token进行训练，而更大的模型版本LLaMA（32B）和LLaMA（65B）则使用了1.4万亿个token。
3. 模型参数量大
大型语言模型由可能具有数千亿，数万个参数的神经网络组成，使它们能够学习语言中的复杂模式，OpenAI 发布了 GPT-3，这是一个拥有 1750 亿个参数的模型。
4. 生成的模型大
一般来说，大型语言模型的大小为数十 GB。
5. 训练需要算力规模
训练基础模型需要上千块，甚至上万块高性能GPU才能完成。

1.3 大型语言模型四要素

大模型三要素：算力、算法、数据、场景。 大模型是"大数据 + 大算力 + 强算法"结合的产物，大模型要到具体场景应用才能发挥最大的价值。
1. 算力：AI的心脏
在AI的宏伟蓝图中，算力是那颗不断跳动的心脏。它决定了数据处理的能力，就如同血液的流动速度。芯片，作为算力的核心，其性能的优劣直接关系到大模型处理能力的速度。黄仁勋在2023年2月的财报会上提到，过去十年间，通过不断的技术创新和合作，大语言模型的处理速度实现了质的飞跃，提高了惊人的100万倍。
2. 算法：AI的大脑
算法，作为AI的大脑，是解决问题的核心机制。不同的算法就像是通往解决方案的不同路径，而它们的效率和效果可以通过空间和时间复杂度来衡量。GPT，这个在Transformer模型基础上发展起来的明星，自2017年由Google提出以来，就在NLP领域掀起了一场革命。它摒弃了传统的RNN和CNN，以更好的并行性和更短的训练时间，在处理长文本时展现出了无与伦比的优势。
3. 数据：AI的养料
数据，是算法训练的养料。在模型的早期训练阶段，需要大量数据的喂养，以形成模型的理解能力。而在中后期，数据的质量则直接决定了模型的精度。在机器学习的过程中，使用标注好的数据进行训练是至关重要的。数据标注是对原始数据进行加工处理，使其转化为机器可识别的信息。只有通过大量训练，覆盖尽可能多的场景，才能孕育出一个优秀的模型。目前，大模型的训练数据集主要来源于公开数据，如维基百科、书籍、期刊、Reddit链接、Common Crawl等。而在中后期，高质量数据的引入将显著提升模型的精度。例如，更加事实性的数据将提高模型的准确性，而更加通顺的中文语言数据将增强模型对中文的理解能力。此外，高质量的反馈数据也能提升模型性能，如ChatGPT采用的人类强化学习RLHF技术，通过专业的问题、指令和人类反馈排序等方式，加强了模型对人类语言逻辑的理解。最终，通过更精准的垂直领域数据，可以构建出更细分领域的专业模型。
4. 场景：AI的舞台
大预言模型的应用场景众多，技术与场景的结合是诞生有价值应用的温床。从文本生成到语言理解，从机器翻译到智能对话，LLM在各个领域都有着广泛的应用。随着技术的不断进步和创新，LLM将在更多的场景中展现出其独特的价值，为人类社会的发展贡献AI的力量。

1.4 大语言模型应用

在当前的人工智能领域，大型语言模型（Large Language Models，简称LLM）已成为推动业务创新和操作效率的关键技术。通过在庞大的数据集上进行预训练，这些模型不仅展现出卓越的通用性和泛化能力，还极大地降低了人工智能应用的技术门槛。用户可以借助零样本或小样本学习迅速实现先进的应用效果，而“预训练+精调”的开发模式标准化了研发流程，显著降低了技术难度，促进了AI技术在各行各业的广泛应用。大型语言模型为企业带来的主要好处包括：
1. 业务流程自动化
大型语言模型能够自动化处理多种业务流程，如客户服务、文本生成、预测和分类任务等。这种自动化减少了人工操作的需求，降低了相关成本，使员工能够将精力集中在更加核心和有价值的任务上。例如，在客户支持领域，通过自动响应客户的查询，大大提高了处理效率和客户满意度。
2. 促进个性化交互
通过运用大型语言模型，聊天机器人和虚拟助理能够实现全天候的客户服务，这些系统能够分析和处理大量数据，深入理解客户的行为和偏好，从而实现高度个性化的交互。不论是在电子商务推荐、个性化营销还是内容创建中，这种个性化的能力都极大地提升了用户体验和客户忠诚度。
3. 提升任务准确性
大型语言模型通过分析和处理大量的数据来提高任务执行的准确性，这在数据密集型的任务中尤为重要。例如，通过分析数千条客户反馈，模型能够精确地识别和归类客户的情绪和意见，无论是在市场研究、公关监控还是社交媒体分析中，都能够提供深入且准确的洞察。

2. 检索增强生成（RAG）

2.2 RAG是什么？

检索增强生成（RAG）是指对大型语言模型输出进行优化，使其能够在生成响应之前引用训练数据来源之外的权威知识库。大型语言模型（LLM）用海量数据进行训练，使用数十亿个参数为回答问题、翻译语言和完成句子等任务生成原始输出。在 LLM 本就强大的功能基础上，RAG 将其扩展为能访问特定领域或组织的内部知识库，所有这些都无需重新训练模型。这是一种经济高效地改进 LLM 输出的方法，让它在各种情境下都能保持相关性、准确性和实用性。



2.2.1 RAG的诞生背景

随着对大型模型应用探索的深入，检索增强生成技术（Retrieval-Augmented Generation）受到了广泛关注，并被应用于各种场景，如知识库问答、法律顾问、学习助手、网站机器人等。在大型语言模型（LLM）的探索旅程中，检索增强生成（RAG）技术正逐渐显露其锋芒，为LLM的未来发展注入了创新的动力。以下是对RAG技术及其在LLM中应用的深入探讨。
2.2.1.1 LLM面临的挑战有哪些
尽管ChatGPT和Claude等LLM展现了令人印象深刻的能力，但它们也面临着一些挑战：
• 产生臆想的答案（幻觉）：在没有确切答案的情况下，LLM可能会产生误导性信息。
• 知识更新慢：当用户需要基于最新情况的具体响应时，LLM可能提供过时或不具体的信息。
• 知识来源缺乏引用：LLM可能引用非权威来源的信息，影响回答的准确性。
• 术语混淆：不同训练数据中相同的术语可能指向不同概念，导致LLM产生混淆。
• 领域专业知识不足： 尽管LLM拥有广泛的知识基础，但它们并不了解特定业务的细节，如公司的私有数据。
2.2.1.2 RAG技术的解决的问题
• 避免“幻觉”问题：RAG 通过检索外部信息作为输入，获取领域特定的知识，辅助大型模型回答问题，这种方法能显著减少生成信息不准确的问题，。
• 信息的实时性： RAG 允许从外部数据源实时检索信息，RAG允许LLM访问最新的客户记录、产品规格和实时库存信息，解决知识时效性问题。
• 解决黑匣子问题：RAG技术使GenAI应用程序能够提供其使用的数据来源，增加透明度，类似于学术论文中的引用，增加回答的可追溯性。
• 数据隐私和安全： RAG 可以将知识库作为外部附件管理企业或机构的私有数据，避免数据在模型学习后以不可控的方式泄露。
• 降低应用成本：RAG提供了一种经济高效的方法，使得组织能够在不重新训练模型的情况下，提升LLM的输出质量。
2.2.1.3 长上下文处理能力会杀死RAG吗？
长上下文处理能力的提升确实为大型语言模型（LLMs）带来了显著的进步，尤其是在处理长篇文档和复杂查询方面。然而，尽管LLMs的上下文长度得到了扩展，RAG（Retrieval-Augmented Generation）依然保有其独特的价值和应用场景，并不会完全被长上下文处理所替代。以下是RAG保持其重要性的几个关键优势：
• 白盒模型的透明度和可解释性：RAG的工作流程相对透明，模块之间的关系清晰，这为模型的效果调优和可解释性提供了优势。在检索召回的内容质量不高或置信度不足时，RAG系统有能力避免生成误导性信息，选择不生成回答而非提供错误的信息。
• 成本效益和响应速度：与微调模型相比，RAG的训练周期更短，成本更低。与长文本处理相比，RAG能够提供更快速的响应和更低的推理成本。在工业界和产业应用中，成本是一个至关重要的因素，而RAG在这一点上具有明显的优势。
• 私有数据管理与安全性：RAG通过将知识库与大型模型分离，为私有数据的管理提供了一个安全的实践基础。这种方法有助于企业更好地控制和管理其知识资产，同时解决了知识依赖问题。此外，RAG底座数据库的访问权限控制和数据管理相对容易实现，而这对于大模型来说则较为困难。
• 灵活性和适应性：RAG能够适应不同的数据源和检索需求，为特定领域或任务提供定制化的解决方案。这种灵活性使RAG在多种应用场景中都能找到其适用之处。
• 模块化和可扩展性：RAG的模块化设计允许它轻松集成新模块或调整现有模块之间的交互流程，以适应不断变化的任务需求和数据环境。
因此，尽管长上下文处理为LLMs带来了新的机遇，RAG仍然在多个方面保持其独特的价值和应用潜力。在未来，RAG可能会继续与长上下文处理和其他先进技术相结合，共同推动自然语言处理技术的发展。

2.2.3 RAG具备性价比

如果没有RAG那么，我们处理之前提到问题还能通过以下方式进行处理
1. 预训练：打造基石模型的挑战
在AI的征途上，构建基础模型的第一步便是资金的筹集。对于大多数企业而言，这是一个几乎不可能完成的任务。OpenAI的Sam Altman曾估算，训练ChatGPT背后的基石模型成本高达1亿美元。除了原始的计算成本，人才的稀缺性同样令人头疼：你需要一支由机器学习博士、顶尖系统工程师和高技能操作人员组成的梦之队，来攻克生成此类模型及其每个模型所面临的众多技术难题。全球的AI公司都在争相抢夺这些稀有人才。
获取、清洗和标记数据集以生成功能强大的基础模型，是另一个挑战。以法律发现公司为例，如果你打算训练模型以回答有关法律文件的问题，那么还需要法律专家投入大量时间来标记训练数据。
2. 微调：适配领域数据的策略
微调，即根据新数据对基础模型进行再训练，无疑是一种成本相对较低的方法。然而，它同样面临着与创建基础模型相同的诸多挑战：稀缺而深入的专业知识需求，充足的数据资源，以及在生产中部署模型的高昂成本和技术复杂性。
LLM与向量数据库的结合，用于上下文检索，使得微调成为一种不太实用的手段。一些LLM提供商，如OpenAI，已不再支持对其最新一代模型进行微调。
微调，作为提升LLM输出质量的传统方法，需要主题专家进行重复、昂贵且耗时的标记工作，并持续监控质量的漂移，以及由于缺乏定期更新或数据分布变化导致的模型准确性的偏差。
随着时间的推移，即使是经过微调的模型，其准确性也可能下降，这就需要更昂贵且更耗时的数据标记、持续的质量监控和重复的微调。
3. 提示工程：优化输入的艺术
提示工程，即精心设计和调整输入到模型中的指令（prompts），以引导模型执行特定的任务或操作，是提高通用人工智能（GenAI）应用程序准确性的一种成本较低的方法。
通过简单地更改提示，可以快速迭代和更新模型的输入，而无需重新训练整个模型。通过快速工程，可以优化模型返回的响应，使其更加准确和相关。
尽管提示工程可以改善模型的响应，但它并不能为模型提供新的或动态的上下文信息。
这意味着如果模型的输入仅依赖于静态的提示，它可能无法考虑到最新的信息或环境变化。由于缺乏最新上下文，模型可能产生与现实不符的输出，这种情况被称为“幻觉”（hallucination）。
幻觉是大型语言模型在生成文本时可能遇到的问题之一，尤其是在需要最新信息的任务中。
RAG 优势的一个示例 ChatGPT 可以解决超出训练数据范围无法回答的问题，并生成正确的结果。
该技术通过获取外部数据来响应查询来补充模型，从而确保更准确和最新的输出。
我们也制作了0基础入门的提示教程，帮助你掌握与大模型沟通的艺术，全都核心概念和实操相结合，也能从小白到专家华丽蜕变，实现大模型自由。

2.3 RAG技术概述与原理

幻觉现象在大型语言模型（LLM）中主要因其无法访问最新信息而产生，这一问题根源于模型对其训练数据集的严重依赖。为了解决这一局限，提出了一种名为RAG（Retrieval-Augmented Generation）的方法，该方法允许LLM通过外部信息源动态地补充训练数据，从而提高回答的准确性。
RAG通过结合传统的检索方法和预训练的语言模型，实现了对LLM输入信息的实时更新，避免了对模型进行昂贵且耗时的微调和再训练。这种方法增强了模型的灵活性和扩展性，使其可以轻松地应用于不同的LLM，满足多样化的需求。
在实际应用中，RAG通过引入人类编写的现实世界数据作为信息源，不仅简化了回答生成过程，还大幅提高了生成响应的可靠性。随着技术的进步，RAG不断发展，已经能够支持检索与生成组件之间的多轮交互，通过多次迭代检索提高信息准确性，同时逐步优化生成的输出质量。
平台如langchain和llamaindex已经对RAG方法进行了模块化处理，这些平台通过实现多轮搜索迭代到连续生成的不同策略，提高了方法的适应性，并扩展了其在实际应用中的范围。这些创新表明，尽管各平台对RAG的具体实施方法各不相同，但它们都遵循了基本的RAG工作流程，展示了这一技术在现代AI应用中的广泛适用性和有效性。

RAG 概述

RAG 技术是一种用额外数据增强大型语言模型知识的方法。尽管 LLM 能够对众多主题进行推理，但其知识仅限于训练时使用的特定时间点之前的公开数据。因此，为了让聊天机器人能够对私有数据或截止日期后引入的数据进行推理，我们需要用特定的信息来增强模型的知识。这个过程就是检索增强生成（RAG）。
一个典型的 RAG 应用主要包含两个部分：
• 第一部分： 索引
• 第二部分： 检索与生成
先看第一部分：
第一部分 索引：
从源数据中加载数据并进行索引，通常离线进行，并且支持动态更新，分为：
1. 加载：根据不同的数据源选择合适的加载器，加载数据得到文档。
2. 切分：使用文本切分器将文档切分成更小的片段，使用小片段一方面可以更好地匹配用户问题，同时也可以适应模型的有限上下文窗口。
3. 存储：存储和索引切片，以便在检索时能够快速找到相关的数据，通常使用 Embeddings 模型和向量数据库（VectorStore）来完成。

再看第一部分：
检索与生成：实际的 RAG 链，接收用户问题，从索引中检索相关数据，基于问题和这些数据生成结果，分为：
1. 检索：给定用户输入，使用检索器从存储中检索相关的切片。
2. 生成：使用包括问题和检索到的数据的提示调用 LLM 来生成答案。


2.3 RAG系统的主要组件和工作流程

2.3.1 RAG系统的核心组件与工作流程

RAG（Retrieval-Augmented Generation，检索增强生成）系统是一个将生成式AI的优势与搜索引擎的功能相结合的复杂系统。要深入理解RAG，关键在于剖析其核心组件以及这些组件是如何协同工作的，以提供无缝的AI体验。
检索引擎：数据的精准定位
RAG过程的首步是检索引擎的介入。这一环节涉及对庞大的信息库进行搜索，以定位与输入查询相匹配的相关数据。检索引擎运用精细的算法，确保所检索到的信息不仅相关性强，而且保持最新，为生成准确的响应打下坚实基础。
增强引擎：上下文的深度融合
检索得到的相关信息随后被送入增强引擎。这一引擎的职责是将检索到的数据与原始查询紧密结合，从而扩充上下文的深度，为生成过程奠定一个更加明智的基础。增强引擎的介入，使得生成的响应更加精准和全面。
生成引擎：智能响应的构建
最终，经过增强的输入信息被送入生成引擎。这里，通常是利用复杂的语言模型，基于扩充后的上下文创建出既连贯又紧密相关的响应。这种响应的生成，不仅依托于模型内部的先验知识，还通过检索引擎提供的外部数据得到了显著增强。

2.3.2 RAG工作流程的全景视图

RAG的基本工作流程始于创建一个包含外部信息源的索引库。这个索引库是检索器模型的基石，它根据特定查询检索出相关的信息。在这一过程的最后阶段，生成器模型将检索到的信息与原始查询融合，形成最终的输出结果。



RAG（Retrieval-Augmented Generation，检索增强生成）应用程序的成功依赖于一系列精心设计的步骤，确保了输出的准确性和相关性。以下是RAG系统关键步骤的深入分析。
第一步，数据索引：构建检索的基石
在RAG系统中，数据索引是基础。它涉及将文档分割成块，编码为向量，并存储于向量数据库中，为检索引擎提供参考点。文本规范化，包括标记化、词干提取和停用词去除，是增强文本适用性的重要步骤。深度学习技术的应用，特别是预训练的语言模型（LM），为文本生成语义向量表示，极大地提升了索引的效率和检索的精确度。
第二步，输入查询处理：理解并转化用户需求
用户的输入是RAG过程的起点。系统需要准确处理和理解这些输入，以形成检索引擎的搜索查询。这一步骤是确保检索结果与用户需求高度相关的关键。
第三步，搜索和排名：找到最相关的信息
检索引擎根据输入查询的相关性对索引数据进行搜索和排名。利用语义相似性，检索与问题最相关的前k个块，这一步骤是RAG系统的核心，它决定了后续生成响应的质量和相关性。
第四步提示增强：丰富输入，提升输出
将检索到的最相关信息与原始查询结合，形成增强的提示。这一步骤为生成引擎提供了更丰富的信息源，有助于生成更准确和相关的响应。
第五步，响应生成：构建最终答案
生成引擎结合原始问题和检索到的信息，输入LLM生成最终答案。这一步骤需要在保持与检索内容一致性和准确性的同时，引入创造性，以生成既准确又具有洞察力的文本。
第六步，评估：持续优化的关键
评估是确保RAG应用成功的最后一步。它提供了关于系统输出准确性、忠实性和响应速度的客观衡量，是持续优化RAG策略的关键环节。
我们仔细看看RAG内部从索引，检索，增强到最后生成每一步都是怎么运行的，以及使用RAG和不使用RAG对返回结果的效果影响如何。



2.3 RAG范式

RAG研究范式在不断发展，我们将其分为三个阶段：Naive RAG、Advanced RAG和Modular RAG。尽管 RAG 方法具有成本效益并且超越了LLM的性能，但它们也表现出一些局限性。 Advanced RAG 和 Modular RAG 的发展正是针对 Naive RAG 的这些具体缺点的回应。

2.3.1 第一阶段，朴素RAG

Naive RAG 研究范式代表了最早的方法，在 ChatGPT 广泛采用后不久就得到了重视。
Naive RAG 遵循传统的过程，包括索引、检索和生成，也被称为“检索-生成”框架，前面讲的RAG是朴素RAG，它是最基础的，最核心的架构。
随着大模型落地不断深化，朴素RAG也有一些缺点：
检索挑战——检索阶段经常在【精确度】和【召回率】方面遇到困难，导致选择错位或不相关的块，并丢失关键信息。
生成困难——在生成响应时，模型可能会面临幻觉问题，即生成【检索到的上下文不支持的内容】。此阶段还可能会受到输出的【不相关性、毒性或偏差】的影响，从而降低响应的质量和可靠性。
增强障碍——将检索到的信息与不同的任务集成可能具有挑战性，有时会导致【输出脱节或不连贯】。当从多个来源检索类似信息时，该过程还可能遇到【冗余，从而导致重复响应】。确定各个段落的重要性和相关性并确保风格和语气的一致性进一步增加了复杂性。面对复杂的问题，基于原始查询的【单一检索可能不足以获取足够的上下文信息】。

2.3.2 第二阶段，高级RAG

Advanced RAG 引入了特定的改进来克服 Naive RAG 的局限性。
它着眼于提高检索质量，采用检索前和检索后策略。
为了解决索引问题，Advanced RAG 通过使用【滑动窗口方法】、【细粒度分段】和【合并元数据】来改进其索引技术。此外，它还结合了多种优化方法来简化检索过程。
预检索过程——这一阶段的主要重点是【优化索引结构和原始查询】。优化索引的目标是提高索引内容的质量。这涉及到策略：增强数据粒度、优化索引结构、添加元数据、对齐优化、混合检索。而查询优化的目标是让用户的原始问题更清晰、更适合检索任务。常见的方法包括查询重写、查询变换、查询扩展等技术。
检索后过程——一旦检索到相关上下文，将其与查询有效集成就至关重要。检索后过程中的主要方法包括【重新排序块和上下文压缩】。重新排列检索到的信息以将最相关的内容重新定位到提示的上下文中是一个关键策略。

2.3.3 第三阶段，模块化RAG

模块化 RAG 架构超越了前两种 RAG 范例，提供了增强的适应性和多功能性。
它采用了多种策略来改进其组件，例如添加用于相似性搜索的搜索模块以及通过微调来改进检索器。
重组 RAG 模块等创新并重新排列 RAG 管道的引入是为了应对特定的挑战。
向模块化 RAG 方法的转变正在变得普遍，支持跨其组件的顺序处理和集成的端到端训练。
尽管具有独特性，模块化 RAG 仍建立在高级 RAG 和朴素 RAG 的基本原则之上，展示了 RAG 系列的进步和完善。
新模块
模块化 RAG 框架引入了额外的专用组件来增强检索和处理能力。
搜索模块适应特定场景，使用LLM生成的代码和查询语言，可以跨搜索引擎、数据库和知识图谱等各种数据源直接搜索。
RAG-Fusion 通过采用多查询策略将用户查询扩展到不同的视角，利用并行向量搜索和智能重新排序来揭示显式和变革性知识，从而解决了传统搜索的局限性 。
内存模块利用LLM的内存来指导检索，创建一个无限的内存池，通过迭代的自我增强使文本与数据分布更紧密地对齐。
RAG系统中的路由可导航不同的数据源，为查询选择最佳路径，无论是涉及汇总、特定数据库搜索还是合并不同的信息流 。
Predict模块旨在通过LLM直接生成上下文来减少冗余和噪音，确保相关性和准确性。
任务适配器模块根据各种下游任务定制 RAG，自动提示检索零样本输入，并通过少数样本查询生成创建特定于任务的检索器 。这种综合方法不仅简化了检索过程，而且显着提高了检索信息的质量和相关性，以更高的精度和灵活性满足了广泛的任务和查询。
模块化 RAG 的优势
模块化 RAG 通过允许模块替换或重新配置来解决特定挑战，从而提供卓越的适应性。
这超越了 Naive 和 Advanced RAG 的固定结构，其特点是简单的“检索”和“读取”机制。
此外，模块化 RAG 通过集成新模块或调整现有模块之间的交互流程来扩展这种灵活性，从而增强其在不同任务中的适用性。
重写-检索-读取等创新模型利用LLM的能力通过重写模块和LM反馈机制来细化检索查询来更新重写模型，从而提高任务性能。
类似地，像Generate-Read 用LLM生成的内容取代传统检索，而背诵阅读强调从模型权重中检索，增强模型处理知识密集型任务的能力。混合检索策略集成了关键字、语义和向量搜索来满足不同的查询。
此外，采用子查询和假设文档嵌入（HyDE）旨在通过关注生成的答案和真实文档之间嵌入相似性来提高检索相关性。
模块布局和交互的调整，例如演示-搜索-预测（DSP）框架和 ITER-RETGEN 的迭代检索-读取-检索-读取流程 ，展示了模块输出的动态使用来支持另一个模块的功能，说明了对增强模块协同作用的复杂理解。
Modular RAG Flow 的灵活编排展示了通过 FLARE 等技术进行自适应检索的优势 和自我 RAG 。
该方法超越了固定的RAG检索过程，根据不同场景评估检索的必要性。
灵活架构的另一个好处是RAG系统可以更轻松地与其他技术（例如微调或强化学习）集成 。



模块化RAG的核心在于将各种功能解耦，将其作为独立的模块进行处理。具体来说，模块化RAG包括了「搜索」、「预测」、「记忆」、「评估」、「验证」和「对齐」等外层模块，以及内层的「检索」、「重排序」、「重写」和「阅读」等RAG核心过程。
在处理信息和响应用户查询的过程中，模块化RAG采用了多种信息处理流程。
例如，传统的Navie RAG模式仅包括基本的「检索」和「阅读」步骤。
而在更复杂的Advanced RAG模式中，包括了「重写」→「检索」→「重排序」→「阅读」的路径，这在提高检索和生成内容的质量方面尤为有效。
DSP（Demonstrate-Search-Predict）模式则专注于验证、搜索和预测阶段，这些模块和模式的组合赋予了模块化RAG极大的灵活性和适应性，使其成为一种强大且可扩展的工具，能够有效地应对各种信息处理挑战，并在多样化的应用场景中提供高质量的回答。

2.3.1 预检索

检索增强生成的预检索阶段为成功的数据和查询准备奠定了基础，确保高效的信息检索。
此阶段包括为有效数据访问做好准备的基本任务。
索引
该过程从索引开始，索引建立一个有组织的系统，以实现快速、准确的信息检索。
索引的特殊性取决于任务和数据类型。
例如，句子级索引有利于问答系统精确定位答案，而文档级索引更适合总结文档以了解其主要概念和思想。
查询操作
建立索引后，将执行查询操作来调整用户查询，以便更好地匹配索引数据。
这涉及查询重构，重写查询以更符合用户的意图；查询扩展，它扩展了查询以通过同义词或相关术语捕获更多相关结果；查询规范化，解决拼写或术语的差异，以实现一致的查询匹配。
数据修改
数据修改对于提高检索效率也至关重要。此步骤包括预处理技术，例如删除不相关或冗余信息以提高结果质量，并使用元数据等附加信息丰富数据以提高检索内容的相关性和多样性.

2.3.2 检索

搜索与排名
检索阶段是搜索和排序的结合。
它专注于从数据集中选择文档并确定其优先级，以提高生成模型输出的质量。此阶段使用搜索算法来浏览索引数据，查找与用户查询匹配的文档。
识别相关文档后，对这些文档进行初始排名的过程开始根据它们与查询的相关性对它们进行排序。

2.3.3 检索后

检索后阶段用于细化最初检索的文档，以提高文本生成的质量。
此阶段包括重新排序和过滤，每个阶段都旨在优化最终生成任务的文档选择。
重排序
在重新排序步骤中，先前检索到的文档将被重新评估、评分和重新组织。目的是更准确地突出显示与查询最相关的文档，并降低不太相关的文档的重要性。此步骤涉及合并额外的指标和外部知识源以提高精度。在这种情况下，由于可用的候选文档集有限，可以有效地使用精度较高但效率较低的预训练模型
过滤
过滤的目的是删除不符合指定质量或相关性标准的文档。这可以通过多种方法来完成，例如建立最小相关性分数阈值以排除低于特定相关性级别的文档。此外，使用用户反馈或先前的相关性评估有助于调整过滤过程，保证只保留最相关的文档用于文本生成。

2.3.4 生成

生成阶段是 RAG 流程的重要组成部分，负责利用检索到的信息来提高生成响应的质量。
此阶段包含几个子步骤，旨在生成可读、引人入胜且信息丰富的内容。
增强
生成阶段的核心是增强步骤，其目标是将检索到的信息与用户的查询合并，以创建连贯且相关的响应。这包括阐述的过程，向检索到的内容添加额外的细节以丰富它。
努力的重点是通过改写和重组等方法提高清晰度、连贯性和风格吸引力，从而提高产出的质量。
综合各种来源的信息以提供全面的视角，并进行验证以确保内容的准确性和相关性。
定制化
定制是一个可选步骤，涉及调整内容以符合用户的特定偏好或请求的上下文。
这种定制包括调整内容以满足目标受众的需求或呈现内容的格式，并压缩信息以简洁地传达内容的本质。
该过程还需要创建强调要点或论点的摘要或摘要，确保输出内容丰富且简洁。
熟悉推荐和广告系统的人员对此应该不陌生，推荐系统和广告系统只是缺少了生成过程，前面的索引，检索，排序和重排序都是同样的原理，主打一个精准。

3. 网络爬虫与数据采集

我们在使用一些大模型的时候，我们通常会放一个网址，让大模型帮我们解读，这里面究竟是怎么回事?
我们先来看一个简单网页爬取。

import re
from typing import List, Union
import requests
from bs4 import BeautifulSoup
def html_document_loader(url: Union[str, bytes]) -> str:
"""
Loads the HTML content of a document from a given URL and return it's content.
Args:
url: The URL of the document.
Returns:
The content of the document.
Raises:
Exception: If there is an error while making the HTTP request.
"""
try:
response = requests.get(url)
html_content = response.text
except Exception as e:
print(f"Failed to load {url} due to exception {e}")
return ""
try:
# Create a Beautiful Soup object to parse html
soup = BeautifulSoup(html_content, "html.parser")
# Remove script and style tags
for script in soup(["script", "style"]):
script.extract()
# Get the plain text from the HTML document
text = soup.get_text()
# Remove excess whitespace and newlines
text = re.sub("\s+", " ", text).strip()
return text
except Exception as e:
print(f"Exception {e} while loading document")
return ""

• 使用 soup(["script", "style"]) 找到所有的 <script>和 <style> 标签，并通过 script.extract() 移除它们，因为这些标签通常包含JavaScript代码或CSS样式，而不是文档的文本内容。

• 使用 soup.get_text() 获取HTML文档的纯文本。

• 使用正则表达式 re.sub("\s+", " ", text).strip() 替换一个或多个空白字符（包括空格、制表符、换行符等）为单个空格，并且移除字符串首尾的空白字符。

• 最终，处理后的文本通过 return text 返回。

4. 向量数据库与Embedding模型

4.1 为什么现在每个人都在谈论矢量数据库？

4.2 RAG 场景对向量数据库的需求

• 高精度的召回：向量数据库需要能够准确召回与查询语义最相关的文档或信息片段。这要求数据库能够理解和处理高维向量空间中的复杂语义关系，确保召回内容与查询的高度相关性。这里的效果既包括向量检索的数学召回精度也包括嵌入模型的语义精度。
• 快速响应：为了不影响用户体验，召回操作需要在极短的时间内完成，通常是毫秒级别。这要求向量数据库具备高效的查询处理能力，以快速从大规模数据集中检索和召回信息。此外，随着数据量的增长和查询需求的变化，向量数据库需要能够灵活扩展，以支持更多的数据和更复杂的查询，同时保持召回效果的稳定性和可靠性。
• 处理多模态数据的能力：随着应用场景的多样化，向量数据库可能需要处理不仅仅是文本，还有图像、视频等多模态数据。这要求数据库能够支持不同种类数据的嵌入，并能根据不同模态的数据查询进行有效的召回。
• 可解释性和可调试性：在召回效果不理想时，能够提供足够的信息帮助开发者诊断和优化是非常有价值的。因此，向量数据库在设计时也应考虑到系统的可解释性和可调试性。

4.3 如何选择向量数据库

• 混合搜索还是关键字搜索？
  关键字+矢量搜索的混合会产生最佳结果，每个矢量数据库供应商都意识到了这一点，提供了自己的定制混合搜索解决方案
• 本地部署还是云原生？
  许多供应商都在推销“云原生”，好像基础设施是世界上最大的痛点，但从长远来看，本地部署可以更加经济，因此也更加有效
• 开源还是完全托管？
  大多数供应商都建立在可用源代码或开源代码库的基础上，展示其底层方法，然后将管道的部署和基础设施部分商业化化（通过完全托管的 SaaS）。仍然可以自行托管大量此类服务，但这需要额外的人力和内部技能要求。

4.4 向量数据库对比

Pinecone

• 优点：非常容易启动和运行（没有托管负担，它完全是云原生的），用户不需要了解有关矢量化或矢量索引的任何信息。文档也写得不错。
• 缺点：完全专有，如果无法在 GitHub 上跟踪他们的进展，就不可能知道幕后发生了什么以及他们的路线图上有什么。此外，某些用户的体验凸显了依赖完全外部的第三方托管服务的危险，以及从开发人员的角度来看完全缺乏对数据库设置和运行方式的控制。考虑到现有开源、自托管替代方案的数量庞大，从长远来看，依赖完全托管、闭源解决方案的成本影响可能会很大。
• 评价：在 2020-21 年，当矢量数据库非常不受关注时，Pinecone 远远领先于潮流，并以其他供应商没有的方式为开发人员提供了便利的功能。快进到 2023 年，坦率地说，Pinecone 现在几乎没有其他供应商提供的功能，而且大多数其他供应商至少提供自托管、托管或嵌入式模式，更不用说他们的算法的源代码了它们的底层技术对最终用户是透明的。
• 官方页面：pinecone.io

Weaviate

• 优点：优秀的文档（最好的文档之一，包括技术细节和正在进行的实验）。 Weaviate 似乎确实专注于构建尽可能最佳的开发人员体验，并且通过 Docker 启动和运行非常容易。在查询方面，它可以生成快速、亚毫秒级的搜索结果，同时提供关键字和矢量搜索功能。
• 缺点：因为 Weaviate 是用 Golang 构建的，所以可扩展性是通过 Kubernetes 实现的，而且当数据变得非常大时，这种方法（与 Milvus 类似）需要相当数量的基础设施资源。从长远来看，Weaviate 的完全托管产品的成本影响尚不清楚，将其性能与其他基于 Rust 的替代方案（如 Qdrant 和 LanceDB）进行比较可能是有意义的（尽管时间会告诉我们哪种方法在最具成本效益的情况下可以更好地扩展）方式）。
• 评价：Weaviate 拥有庞大的用户社区，并且开发团队正在积极展示极端的可扩展性（数千亿个向量），因此看起来他们的目标市场确实是拥有海量数据的大型企业。进行矢量搜索。提供关键词搜索和矢量搜索，以及强大的混合搜索，使其能够推广到各种用例，直接与 Elasticsearch 等文档数据库竞争。 Weaviate 积极关注的另一个有趣领域涉及通过向量数据库进行数据科学和机器学习，将其带出传统搜索和检索应用程序的领域。
• 官方页面：weaviate.io

Qdrant

• 优点：虽然比 Weaviate 新，但 Qdrant 也有很好的文档，可以帮助开发人员轻松地通过 Docker 启动和运行。它完全用 Rust 构建，提供开发人员可以通过 Rust、Python 和 Golang 客户端使用的 API，这些是当今后端开发人员最流行的语言。由于 Rust 的潜在功能，它的资源利用率似乎低于 Golang 中构建的替代方案。目前可扩展性是通过分区和 Raft 共识协议来实现的，这是数据库领域的标准实践。
• 缺点：作为一个比竞争对手相对较新的工具，Qdrant 在查询用户界面等领域一直在追赶 Weaviate 和 Milvus 等替代品，随着每个新版本的发布，这种差距正在迅速缩小。
• 评价：我认为 Qdrant 有望成为许多公司的首选矢量搜索后端，这些公司希望最大限度地降低基础设施成本并利用现代编程语言 Rust 的强大功能。在撰写本文时，混合搜索尚不可用，但根据他们的路线图，它正在积极开发中。此外，Qdrant 不断发布有关如何优化内存中和磁盘上的 HNSW 实施的更新，这将极大地有助于其长期的搜索准确性和可扩展性目标。很明显，根据 Qdrant的 GitHub 星级历史记录，Qdrant 的用户社区正在快速增长（有趣的是，比 Weaviate 的速度更快）！。
• 官方页面：qdrant.tech

Milvus/Zilliz

• 优点：非常成熟的数据库，具有大量算法，因为它在矢量数据库生态系统中长期存在。提供了很多矢量索引选项，并在 Golang 中从头开始构建，具有极高的可扩展性。截至 2023 年，它是唯一一家提供有效 DiskANN 实现的主要供应商，据说这是最有效的磁盘向量索引。
• 缺点：在我看来，Milvus 似乎是一个解决可扩展性问题的解决方案——它通过代理、负载均衡器、消息代理、Kafka 和 Kubernetes的组合实现了高度的可扩展性，这使得整个系统变得非常复杂并且资源密集。客户端 API（例如 Python）也不像 Weaviate 和 Qdrant 等较新的数据库那样可读或直观，后者往往更注重开发人员体验。
• 评价：Milvus 的构建理念是实现将数据流式传输到向量索引的大规模可扩展性，并且在许多情况下，当数据大小不太大时，Milvus 似乎有些过大了。对于更静态和不频繁的大规模情况，Qdrant 或 Weaviate 等替代方案可能更便宜，并且在生产中启动和运行速度更快。
• 官方页面：milvus.io和zilliz.com

Chroma

• 优点：为开发人员提供方便的 Python/JavaScript 界面，以快速启动和运行矢量存储。它是市场上第一个默认提供嵌入式模式的矢量数据库，其中数据库和应用程序层紧密集成，允许开发人员快速构建、原型化并向世界展示他们的项目。
• 缺点：与其他专门构建的供应商不同，Chroma 主要是围绕现有 OLAP 数据库（Clickhouse）和现有开源矢量搜索实现（hnswlib）的 Python/TypeScript 包装器。目前（截至 2023 年 6 月），它尚未实现自己的存储层。
• 评价：矢量数据库市场正在迅速发展，Chroma似乎倾向于采取“等待和观望”的理念，并且是少数旨在提供多种托管选项的供应商之一：无服务器/嵌入式、自托管（客户端-服务器）和云原生分布式 SaaS 解决方案，可能同时具有嵌入式和客户端-服务器模式。根据路线图，Chroma 的服务器实施正在进行中。 Chroma 引入的另一个有趣的创新领域是量化“查询相关性”的方法，即返回的结果与输入用户查询的接近程度。可视化嵌入空间（也在他们的路线图中列出）是一个创新领域，可以让数据库用于除搜索之外的许多应用程序。然而，从长远来看，我们从未见过嵌入式数据库架构在矢量搜索领域成功商业化，因此它的演变（与 LanceDB 一起，如下所述）将会很有趣！
• 官方页面：trychroma.com

LanceDB

• 优点：旨在对多模式数据（图像、音频、文本）执行分布式索引和本地搜索，构建在Lance 数据格式之上，Lance 数据格式是一种用于 ML 的创新型柱状数据格式。就像 Chroma 一样，LanceDB 使用嵌入式、无服务器架构，并且是用 Rust 从头开始构建的，因此与 Qdrant 一起，这是唯一一家利用速度 、内存安全性和相对较低的资源利用率的其他主要矢量数据库供应商。
• 缺点：在 2023 年，LanceDB 是一个非常年轻的数据库，因此许多功能正在积极开发中，并且由于工程团队不断壮大，直到 2024 年功能的优先级将成为一个挑战。
• 评价：我认为在所有矢量数据库中，LanceDB与其他数据库的区别最大。这主要是因为它在存储层本身（使用 Lance，一种比 parquet 更快的新列格式，专为非常高效的扫描而设计）和基础设施层上进行了创新 - 通过在其云版本中使用无服务器架构。结果，大量基础设施的复杂性降低，大大增加了开发人员构建以分布式方式直接连接到数据湖的语义搜索应用程序的自由度和能力。
• 官方页面：lancedb.com

Vespa

• 优点：提供最“企业就绪”的混合搜索功能，结合了久经考验的关键字搜索功能和 HNSW 之上的自定义矢量搜索。尽管 Weaviate 等其他供应商也提供关键字和矢量搜索，但 Vespa 是最早推出此产品的供应商之一，这让他们有充足的时间来优化其产品，使其变得快速、准确和可扩展。
• 缺点：由于应用程序层是用 Java 编写的，因此开发人员的体验不如使用 Go 或 Rust 等面向性能的语言编写的更现代的替代方案那么顺畅。此外，直到最近，它还没有使设置和拆除开发实例变得非常简单，例如通过 Docker 和 Kubernetes。
• 评价：Vespa 确实提供了非常好的产品，但它的应用程序主要是用 Java 构建的，而后端和索引层是用 C++ 构建的。随着时间的推移，这使得维护变得更加困难，因此，与其他替代方案相比，它往往会给开发人员带来不太友好的感觉。如今，大多数新数据库完全是用一种语言编写的，通常是 Golang 或 Rust，而且 Weaviate、Qdrant 和 LanceDB 等数据库的算法和架构创新速度似乎要快得多。
• 官方页面：vespa.ai

Vald

• 优点：旨在通过高度分布式架构处理多模式数据存储，以及索引备份等有用功能。使用非常快的 ANN 搜索算法 NGT（邻域图和树），当与高度分布的向量索引结合使用时，该算法是最快的 ANN 算法之一。
• 缺点：似乎比其他供应商的整体吸引力和使用量要少得多，并且文档没有清楚地描述使用什么矢量索引（“分布式索引”相当模糊）。它似乎也完全由一个实体——雅虎！日本，关于其他主要用户的信息很少。
• 评价：我认为 Vald 是一个比其他供应商更小众的供应商，主要迎合 Yahoo!日本的搜索要求较高，并且总体上用户社区要小得多，至少从 GitHub 上的星数来看是这样。部分原因可能是它的总部位于日本，营销力度不如欧盟和湾区其他地位较高的供应商。
• 官方页面：vald.vdaas.org

Elasticsearch、Redis 和 pgvector

• 优点：如果您已经在使用 Elasticsearch、Redis 或 PostgreSQL 等现有数据存储，那么利用它们的矢量索引和搜索产品非常简单，而无需求助于新技术。
• 缺点：现有数据库不一定以最佳方式存储或索引数据，因为它们被设计为通用目的，因此，对于涉及百万级矢量搜索及以上的数据，性能会受到影响。 Redis VSS（矢量搜索存储）之所以快，主要是因为它纯粹在内存中，但当数据变得大于内存时，就有必要考虑替代解决方案。
• 评价：我认为专用矢量数据库将在需要语义搜索的领域慢慢超越现有数据库，这主要是因为它们在矢量搜索方面最关键的组件（存储层）上进行创新。像 HNSW 和 ANN 算法这样的索引方法在文献中有详细记录，大多数数据库供应商都可以推出自己的实现，但是专门构建的向量数据库具有针对手头任务进行优化的优点（更不用说它们是使用 Go 和 Rust 等现代编程语言编写），并且出于可扩展性和性能的原因，从长远来看，它很可能会在这个领域胜出。

4.5 什么是Embedding？

{
"word": "Valentine's Day",
"vector": [0.12, 0.75, -0.33, 0.85, 0.21, ...etc...]
}

Embedding的重要性何在呢？

4.6 向量之间的距离

• 欧几里德距离度量
• 曼哈顿距离度量
• 余弦距离度量
• 切比雪夫距离度量。

1. 欧几里德距离度量（Euclidean Distance）

2. 曼哈顿距离度量（Manhattan Distance）

3. 余弦距离度量（Cosine Distance）

4. 切比雪夫距离度量（Chebyshev Distance）

4.7 如何选择嵌入模型

• 检索用Embbedding
• 重排序用Embbedding

• 知识库存入向量数据库之前，需要使用Embbedding模型
• 用户提问时的问题，需要使用使用Embbedding模型
• 检索完成之后重排序的时候，需要 Rank Embbedding模型

• Retrieval Average： NDCG是衡量检索系统性能的常用指标。 NDCG 较高表示模型能够更好地在检索结果列表中将相关项目排名靠前。
• 模型大小：模型的大小（以 GB 为单位）。它给出了运行模型所需的计算资源的概念。虽然检索性能随模型大小而变化，但值得注意的是，模型大小也会对延迟产生直接影响。在生产设置中，延迟与性能的权衡变得尤为重要。
• 最大令牌数：可以压缩为单个嵌入的令牌数。您通常不想放置超过一个文本段落（~100 个代币) 到单个嵌入中。因此，即使模型的最大令牌数为 512，也应该绰绰有余。
• Embbedding维度：嵌入向量的长度。较小的嵌入可提供更快的推理，并且存储效率更高，而更多的维度可以捕获数据中的细微细节和关系。最终，我们希望在捕获数据的复杂性和运营效率之间取得良好的权衡。
• 支持的语言 (Languages): 中文 (zh)，英文 (en) 等

4.8 嵌入是如何生成的？

curl -X POST https://xxx -d '{ "input": ["推荐一些美食","给我讲个故事"]}'
输入文本以获取embeddings说明：
（1）文本数量不超过16
（2）每个文本token数不超过512且长度不超过2000个字符
（3）输入文本不能为空，如果为空会报错

[
{
"object": "embedding",
"embedding": [
0.018314670771360397,
0.00942440889775753,
...（共384个float64）
-0.36294862627983093
],
"index": 0
}
 ] 

curl -X POST http://xxxx -d '{"query": "上海天气","documents":["上海气候", "北京美食"]}

 [
{
"document": "上海气候",
"relevance_score": 0.7059729695320129,
"index": 0
},
{
"document": "北京美食",
"relevance_score": 0.4241394102573395,
"index": 1
}
]

def get_embeddings(docs: List[str], model: str="text-embedding-3-large") -> List[List[float]]:
"""
使用 OpenAI API 生成嵌入。
参数：
docs (List[str]): 要生成嵌入的文本列表
model (str, optional): 模型名称。默认为 "text-embedding-3-large"。
返回：
List[float]: 嵌入的数组
"""
# 替换换行符，它们可能会对性能产生负面影响
docs = [doc.replace("\n", " ") for doc in docs]
# 调用 OpenAI API 来获取嵌入
response = openai_client.embeddings.create(input=docs, model=model)
# 提取响应中的嵌入数据
response = [r.embedding for r in response.data]
# 返回嵌入数据
return response
```

from typing import List
from transformers import AutoModel, AutoTokenizer
import torch
# 用户查询中要追加的指令，以改善检索结果
RETRIEVAL_INSTRUCT = "Represent this sentence for searching relevant passages:"
# 检查 CUDA（GPU 支持）是否可用，并相应地设置设备
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")
# 从 Hugging Face 加载 UAE-Large-V1 模型
model = AutoModel.from_pretrained('WhereIsAI/UAE-Large-V1').to(device)
# 加载与 UAE-Large-V1 模型关联的分词器
tokenizer = AutoTokenizer.from_pretrained('WhereIsAI/UAE-Large-V1')
# 装饰器，用于禁用梯度计算
@torch.no_grad()
def get_embeddings(docs: List[str], input_type: str) -> List[List[float]]:
"""
使用 UAE-Large-V1 模型获取嵌入。
参数：
docs (List[str]): 要嵌入的文本列表
input_type (str): 要嵌入的输入类型。可以是 "document" 或 "query"。
返回：
List[List[float]]: 嵌入的数组
"""
# 如果是查询类型，则在查询前追加检索指令
if input_type == "query":
docs = ["{}{}".format(RETRIEVAL_INSTRUCT, q) for q in docs]
# 对输入文本进行分词
inputs = tokenizer(docs, padding=True, truncation=True, return_tensors='pt', max_length=512).to(device)
# 将分词后的输入传递给模型，并获取最后一个隐藏状态
last_hidden_state = model(**inputs, return_dict=True).last_hidden_state
# 从最后一个隐藏状态中提取嵌入
embeddings = last_hidden_state[:, 0]
# 返回嵌入，从 GPU 转移到 CPU 并转换为 NumPy 数组
return embeddings.cpu().numpy()
```

5. 实战： 基于 Langchain+私有模型，构建一个生成级RAG 聊天机器人

5.1 设置环境和依赖

use python 3.10
pip installfastembed==0.1.3 chromadb==0.4.22 langchain==0.1.8wikipedia==1.4.0 ollama

5.2 初始化LLM

from langchain_community.llms import Ollama
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = Ollama(
model="llama3",
callback_manager=CallbackManager([StreamingStdOutCallbackHandler()]),
)

llm.invoke("英伟达公布2024二季度营收多少亿美元?")

According to my knowledge, InVite (英伟达) is a Chinese company that specializes in electric vehicles. As of now, I couldn't find any reliable sources confirming their 2024 Q2 revenue.

However, if you're interested in knowing the previous quarterly or annual revenues for InVite, I can try searching for those. ?

Please let me know what specific information you're looking for, and I'll do my best to help! ?

5.3 增强生成

from langchain.prompts import PromptTemplate

template = """你是一个机器人，使用提供的上下文来回答问题。如果你不知道答案，只需简单地说明你不知道。.

{context}

Question: {input}"""

prompt = PromptTemplate(
template=template, input_variables=["context", "input"]
)

prompt.format(
context="英伟达公布2024财年第二财季季报。二季度营收135.07亿美元",
input="英伟达公布2024二季度营收多少亿美元?"
)

'你是一个机器人，使用提供的上下文来回答问题。如果你不知道答案，只需简单地说明你不知道。.\n\n英伟达公布2024财年第二财季季报。二季度营收135.07亿美元\n\nQuestion: 英伟达公布2024二季度营收多少亿美元?'

llm.invoke(
prompt.format(
context="英伟达公布2024财年第二财季季报。二季度营收135.07亿美元",
input="英伟达公布2024二季度营收多少亿美元?"
)
)

根据上下文，英伟达公布的2024二季度营收是135.07亿美元。

5.4 生成嵌入

from langchain.text_splitter import RecursiveCharacterTextSplitter

from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("AIGC行业深度报告(11).pdf")
docs = loader.load()
print(len(docs))
print(docs[1].page_content)

text_splitter = RecursiveCharacterTextSplitter(
chunk_size = 1000,
chunk_overlap= 200,
length_function = len,
is_separator_regex = False,
)

data = text_splitter.split_documents(docs)
data[:3]

[Document(page_content='华西计算机团队\n2023年10月9日华为算力分拆 : 全球AI算力的第二极\n请仔细阅读在本报告尾部的重要法律声明\n仅供机构投资者使用\n证券研究报告 |行业深度研究报告\n分析师：刘泽晶\nSAC NO：S1120520020002\n邮箱： 行业深度报告 (11)', metadata={'source': 'AIGC行业深度报告(11).pdf', 'page': 0}),
 Document(page_content='核心逻辑 :\n\uf075全面对标英伟达，华为开启国产自主可控新征程 。我们认为英伟达作为全球 AI算力芯片龙头坐拥三大法宝，分别是高性能芯片、其中 IC设计\n是重点， CUDA 架构、助力 AI加速计算生态， Nvlink 、NVSwitch 助力芯片快速互联互通与 InfiniBand 配合组网技术实现高效互联互通；而华\n为作为国产计算之光全面对标英伟达，在算力方面， 昇腾910芯片单卡算力已经可以与英伟达 A100 相媲美；统一达芬奇架构助力 AI计算引擎；\nHCCS 互联技术，实现卡间高速互联 。\n\uf075华为构筑世界 AI算力第二选择 : 全连接大会上，华为发布多款 AI产品，为世界 AI算力第二选择。 华为Atlas 900 SuperCluster 、全新的华为\n星河AI智算交换机亮相，打开国产算力集群想象空间，同时 发布“三力四总线”，打造智能世界数字基础大设施，此外发布星河 AI网络解决\n方案，以高运力释放 AI时代的高算力；软件方面，华为携手基础软硬件创新，开启国产 AI生态；华为鲲鹏、昇腾、 AI助力国产千行百业数字\n化升级，包括金融、智能制造、工业、教育、医疗等方面。\n\uf075为领衔演绎国产 AI计算产业崛起 : 我们认为华为 AI计算产业的核心在于芯片的自主可控，其中以鲲鹏和昇腾为主导的海思芯片尤为重要，因此\n与之相关的国产集成电路产业突围尤为重要，其中重中之重是 EDA 、光刻、代工产业； AI与信创双轮驱动，国产服务器需求火爆， AI 服务\n器中的主要元器件包括 CPU 、GPU 板组、内存、硬盘、网络接口卡组成，配合电源、主板、机箱、散热系统等基础硬件以提供信息服务，\n计算服务器基础硬件供应商和华为生态伙伴也将迎来发展机遇；算力组网方面，华为有望带动相关产品快速放量，其中包括国产 AI服务器、\n交换机、光模块等产品，此外，在算网的趋势下，网络可视化将迎来黄金发展周期。\n\uf075投资建议: 受益标的： EDA：华大九天、概伦电子、广立微 等；光刻： 福晶科技、奥普光电、苏大维格、美埃科技、腾景科技 等；PCB：沪\n电股份、胜宏科技 等；内存接口： 澜起科技、聚辰股份 等；连接器： 华丰科技、鼎通科技 等；BIOS ：卓易信息 等；电源： 杰华特、欧陆通、', metadata={'source': 'AIGC行业深度报告(11).pdf', 'page': 1}),
 Document(page_content='交换机、光模块等产品，此外，在算网的趋势下，网络可视化将迎来黄金发展周期。\n\uf075投资建议: 受益标的： EDA：华大九天、概伦电子、广立微 等；光刻： 福晶科技、奥普光电、苏大维格、美埃科技、腾景科技 等；PCB：沪\n电股份、胜宏科技 等；内存接口： 澜起科技、聚辰股份 等；连接器： 华丰科技、鼎通科技 等；BIOS ：卓易信息 等；电源： 杰华特、欧陆通、\n中国长城 等；服务器： 拓维信息、神州数码、天源迪科、四川长虹、高新发展 等；光模块： 天孚通信，剑桥科技、太辰光、中际旭创 等；网\n络可视化： 恒为科技、浩瀚深度、中新赛克 等；操作系统： 润和软件、测绘股份、中国 软件、麒麟信安、诚迈科技 等；技术开发： 软通动力、\n常山北明 等；传统应用： 海量数据、超图软件、赛意信息 等；AI应用： 润达医疗、云鼎科技、梅安森、万达信息、龙软科技、金山办公、梦\n网科技 等。\n\uf075风险提示 : 核心技术水平升级不及预期的风险、 AI伦理风险、政策推进不及预期的风险、中美贸易摩擦升级的风险。2', metadata={'source': 'AIGC行业深度报告(11).pdf', 'page': 1})]

5.5 生成并存储嵌入

from langchain.vectorstores import Chroma
#from langchain.embeddings import OpenAIEmbeddings
from langchain_community.embeddings.fastembed import FastEmbedEmbeddings

embeddings = FastEmbedEmbeddings(model_name="BAAI/bge-base-en-v1.5")

store = Chroma.from_documents(
data, 
embeddings, 
ids = [f"{item.metadata['source']}-{index}" for index, item in enumerate(data)],
collection_name="AIGC-report-Embeddings", 
persist_directory='db',
)
store.persist()

5.6 查询嵌入

result = store.similarity_search(
query="英伟达公布2024二季度营收多少亿美元?",
k=10
)
[doc.page_content for doc in result]

['1.1 全球龙头英伟达业绩持续高度景气，印证全球 AI产业趋势\n\uf075英伟达二季度业绩持续超预期 ，印证AI景气度： 美东时间 8月23日，英伟达公布 2024 财年第二财季季报 。二季度营收 135.07亿美元 ，同\n比增长 101%,远超市场预期的指引区间 107.8亿到112.2亿美元 ，相较于华尔街预期 水平 高22%-29%以上 。业绩指引方面 ，英伟达预计 ，\n本季度 、即2024 财年第三财季营业收入为 160亿美元 ，正负浮动 2%，相当于指引范围在 156.8亿到163.2亿美元之间 。以160亿美元计\n算，英伟达预期三季度营收将同比增长 170%，连续两个季度翻倍增长 ，高于市场预期 。\n\uf075AI芯片所在业务同环比均翻倍激增较市场预期高近 30%，游戏业务同比重回增长 :AI对英伟达业绩的贡献突出 。包括AI显卡在内的英伟\n达核心业务数据中心同样收入翻倍激增 ，二季度数据中心营业收入为 103.2亿美元 ，同比增长 171%，环比增长 141%；二季度游戏营收\n24.9亿美元 ，同比增长 22%，环比增长 11%，英伟达称 ，数据中心收入主要来自云服务商和大型消费类互联网公司 。基于Hopper 和A\nmpere 架构GPU 的英伟达 HGX 平台之所以强劲需求 ，主要源于开发生成式 AI和大语言模型的推动 。\n5 资料来源：techpowerup ，Bloomberg ，英伟达官网 ，英伟达2023财年年报， 新浪，华西证券 研究所产品实现云、边、端全面布局\n云端\n•GPU 加速云计算（ 在云端完\n成计算 ）\n•Omniverse Cloud ：自部署云\n容器 、托管服务终端\n•游戏： 驱动器、 Reflex 、G-SYNC 显示器\n•可视化： 虚拟工作站 、NVIDIA RTXDI 光\n线追踪等\n•智能驾驶： 舱内智能服务软件、地图软件、\n辅助驾驶平台等边缘计算\n•Jetson 嵌入式系统： Orin 系列 、\nXavier 系列 、TX2系列 、Nano （在\n数据源或数据源附近完成计算 ）',
 '目录\n301 全面对标英伟达，开启国产自主可控新征程\n02 华为领衔演绎国产 AI计算产业崛起\n03投资建议 : 梳理AIGC 相关受益厂商\n04风险提示',
.....................
']

5.7 检索增强生成

from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain.chains import create_retrieval_chain

retriever = store.as_retriever(search_kwargs={
'k': 10
})
combine_docs_chain = create_stuff_documents_chain(llm, prompt)
chain = create_retrieval_chain(retriever, combine_docs_chain)

result = chain.invoke({
"input": "英伟达公布2024二季度营收多少亿美元?"
})

According to the text, NVIDIA announced its 2024 second quarter revenue as $135.07 billion, with a year-over-year growth of 101%.

6. 实战： 基于 Langchain+公有模型，构建一个生成级RAG 聊天机器人

6.1 准备工作

• 安装 Python：建议使用 Python 3.8 或更高版本，这是当前许多现代 Python 库和框架的通用要求。
• 安装依赖：使用 pip 安装 LangChain 及其相关依赖pip install --upgrade --quiet langchain langchain-community langchainhub langchain-openai
• 获取 OpenAI 密钥：这里选择使用 OpenAI 的 GPT 系列模型作为我们的 LLM。所以需要注册一个 OpenAI 账号，然后创建一个 API 密钥。
• 注册 LangSmith (可选)：使用 LangSmith，可以对 LangChain 的调用进行跟踪和分析，强烈建议使用。

6.2 加载配置

# .env
OPENAI_API_KEY="sk-xxx"
# OPENAI_API_BASE="https://api.openai.com/v1"

# LANGCHAIN_TRACING_V2=true
# LANGCHAIN_API_KEY=xxx

from dotenv import load_dotenv
dotenv.load_dotenv()

6.3 索引：加载数据

pip install pypdf
from langchain_community.document_loaders import PyPDFLoader

loader = PyPDFLoader("https://arxiv.org/pdf/2402.16480.pdf")
docs = loader.load()
print(len(docs))
print(docs[0].page_content)

pip install rapidocr-onnxruntime
loader = PyPDFLoader("https://arxiv.org/pdf/2402.16480.pdf", extract_images=True)

6.4 索引：切分数据

from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(
chunk_size=1000, chunk_overlap=200, add_start_index=True
)
splits = text_splitter.split_documents(docs)
print(len(splits))
print(splits[0].page_content)
print(splits[0].metadata)

from langchain_text_splitters import (
Language,
RecursiveCharacterTextSplitter,
)

python_splitter = RecursiveCharacterTextSplitter.from_language(
language=Language.PYTHON, chunk_size=50, chunk_overlap=0
)

• MarkdownHeaderTextSplitter 用于通过指定标题切分 Markdown 文件
• RecursiveJsonSplitter 用于切分 JSON 文件
• CharacterTextSplitter 用于通过指定分隔符切分文本

6.5 索引：生成嵌入

from langchain_openai import OpenAIEmbeddings

embedding = OpenAIEmbeddings()
embedded_query = embedding.embed_query("What was the name mentioned in the conversation?")
print(embedded_query[:5])
[0.005384807424727807, -0.0005522561790177147, 0.03896066510130955, -0.002939867294003909, -0.008987877434176603]

6.6 索引：存储嵌入

from langchainhub.vectorstores import ChromaVectorStore

vectorstore = Chroma.from_documents(documents=splits, embedding=embedding)
query = "如何在开源项目中使用 ChatGPT ?"
docs = vectorstore.similarity_search(query)
print(docs[0].page_content)

6.7 查询检索

retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 6})
query = "如何在开源项目中使用 ChatGPT ?"
docs = retriever.invoke(query)
print(len(docs))
print(docs[0].page_content)

生成

from langchain_openai import ChatOpenAI
from langchain import hub
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough

# 从 Hub 中加载 RAG Prompt
prompt = hub.pull("rlm/rag-prompt")
# 使用 OpenAI 的 gpt-3.5-turbo 模型
llm = ChatOpenAI(model_name="gpt-3.5-turbo", temperature=0)

# 格式化文档
def format_docs(docs):
return "\n\n".join(doc.page_content for doc in docs)

# 构建 chain
rag_chain = (
{"context": retriever | format_docs, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
)

# 以流的方式生成答案
for chunk in rag_chain.stream("What is Task Decomposition?"):
print(chunk, end="", flush=True)

• hub.pull：从 Hub 中加载 RAG Prompt，Hub 是 LangChain 提供的一个中心化的模型仓库，可以方便地获取和分享模型。
• |：管道操作符，用于连接多个 Runnable。基于 LangChain Expression Language (LCEL) 的语法，可以方便地构建复杂的 chain，类似于 Unix 管道。LCEL 提供了非常多的特性，包括异步、批量执行、并发执行、流式、重试和回退等，在我看来就是 LangChain 的精髓所在，详细介绍可以参考官方文档。
• RunnablePassthrough：一个简单的 Runnable，用于传递输入
• StrOutputParser：一个简单的 OutputParser，用于将输出转换成字符串
• stream：以流的方式生成答案

总结

说在最后：有问题找老架构取经

• 惊天大逆袭：8年小伙20天时间提75W年薪offer，逆涨50%，秘诀在这

• 《LLM大模型学习圣经：从0到1吃透Transformer技术底座》 
• 《LLM大模型学习圣经：从0到1精通RAG架构，基于LLM+RAG构建生产级企业知识库》
• 《LLM大模型学习圣经：从0到1吃透大模型的顶级架构》

• Netty 学习圣经：穿透Netty的内存池和对象池（那个超级难，很多人穷其一生都搞不懂），
• DDD学习圣经： 穿透 DDD的建模和落地，
• Caffeine学习圣经：比如Caffeine的底层架构，
• 比如高性能葵花宝典
• Thread Local 学习圣经
• 等等等等。