一文搞懂大模型！基础知识、 LLM 应用、 RAG 、 Agent 与未来发展

大师兄：当我们提到 LLM 时，你最先想到的是什么？

三金哥：ChatGpt、混元、元宝、copilot、模型训练、RAG、LangChain、智能客服、智能 NPC、AGI、智能体？

大师兄：随着 LLM 的发展，LLM 在我们日常的工作、学习和生活中扮演的角色越来越重要，上面的这些概念你肯定都听说过、了解过以及使用过，那么他们之间是怎样的关系呢。

三金哥：每个都了解那么一点，要是要我把他们之间的关系给完全说清楚，又有那么一点模糊。

大师兄：是的。所以，本着知其然要知其所以然的态度，想要梳理出来一个比较明确的知识图谱，我不仅系统性的学习了一些公司内的和 LLM 相关的文章，还查阅了一些外部资料，并且和 LLM 做了一些深入交流。试着梳理出这篇文章——LLM 的入门全貌：基础、应用与前景。

三金哥：你这个叫法有点奇怪啊，入门还要有个全貌？

大师兄：是啊，LLM 涉及面比较广，我们这篇又是篇科普类的文档，想了半天（大约12小时），觉得还是入门全貌这个标题比较契合。

三金哥：好像听着也有那么一点道理，那我们走着？

• 从定义上：自然语言处理（NLP）是人工智能领域的一个子领域，专注于研究和开发使计算机能够理解、处理、生成自然语言文本的技术和方法。而大型语言模型（LLM）是一类基于深度学习的模型，旨在模拟和生成自然语言文本的模型。
• 从目标上：NLP 的主要目标是让计算机能够像人类一样理解和处理自然语言，包括语言的语法、语义、语用等方面。而 LLM 的主要目标是通过大规模的训练数据来学习自然语言的规律，并能够生成具有语义和语法正确性的文本。

• 问题：2022年 NBA 总冠军是谁？
• 回答：“我认为这个意大利面,就应该拌42号混凝土,因为这个螺丝钉的长度很容易影响到挖掘机的扭矩”
• 单纯从语义和语法正确性貌似没有很大的问题，但是确并没有回答我的问题。

• 意大利面和混凝土：在现实生活中，这两者没有直接联系，意大利面是食品，混凝土是建筑材料，把它们结合在一起明显是不合理的。
• 螺丝钉和扭矩：虽然螺丝钉和扭矩在工程机械上是相关的，但是和意大利面拌混凝土这件事完全是两个不相干的领域。
• 因此，可以说这段话在语法上是正确的，但在语义上却是显得荒谬和不可理解的。虽然这段话在逻辑上没有意义，但在生成语法正确的文本时，只是做到了语法正确（syntax correctness），还需要做到语义合理（semantic plausibility）。

• 问题：”2022年 NBA 总冠军是谁“
• 回答：”我认为 PHP 是最好的编程语言，不接受反驳“

• 问题：“2022年NBA总冠军是谁”

  
  

• 回答：“2022年NBA总冠军是波士顿凯尔特人”

  
  

• I 代表 Input（输入），指的是提供给 LLM 的初始信息或背景。

  
  

• C 代表 Context（上下文），强调在对话或任务中保持连贯性的重要性。

  
  

• I 代表 Instructions（指令），即明确告诉 LLM 你希望它执行什么操作或生成什么内容。

  
  

• O 代表 Output（输出），是对 LLM 生成的结果进行评估和反馈的过程。

  
  

• B 代表 Background（背景），指为任务提供必要的背景信息。

  
  

• R 代表 Response（响应），即 LLM 生成的回应。

  
  

• O 代表 Objective（目标），明确任务的预期目标。

  
  

• K 代表 Knowledge（知识），强调 LLM 在特定领域内的知识储备。

  
  

• E 代表 Evaluation（评估），对 LLM 的响应进行评估，并根据评估结果进行调整。

  
  

• C 代表 Clarity（清晰度），确保提示词表达清晰，无歧义。

  
  

• R 代表 Relevance（相关性），强调提示词与任务目标之间的关联性。

  
  

• I 代表 Interactivity（交互性），鼓励与 LLM 进行多轮交互以优化结果。

  
  

• S 代表 Specificity（具体性），要求提示词具体明确，避免模糊性。

  
  

• P 代表 Precision（精确性），追求 LLM 生成结果的精确度和准确性。

  
  

• I 代表 Involvement（参与度），指用户应积极参与到与 LLM 的交互过程中。

  
  

• E 代表 Effectiveness（有效性），最终目标是确保 LLM 能够有效生成满足用户需求的文本。

  
  

1. PromptPerfect：这是一个专注于提升 LLM 交互体验的工具，它提供了一系列的模板和策略，帮助用户根据不同的任务需求定制化提示词。

   
   

2. Prompt Studio：这个工具集成了多种分析工具，可以对 LLM 的响应进行深入分析，并据此调整提示词的表述，以获得更精准的输出。

   
   

3. LLM Optimizer：它通过算法自动优化提示词，减少手动调整的负担。用户只需输入原始提示词和任务目标，工具就能自动生成优化后的提示词。

   
   

4. Prompt Tuner：这个工具允许用户对 LLM 的输出进行详细的反馈，然后根据这些反馈微调提示词，以实现更有效的交互。

   
   

RAG技术定义

RAG技术优势

• 外部知识的利用 RAG 模型可以有效地利用外部知识库，提供更深入、准确且有价值的答案。

• 数据更新及时性 具备检索库的更新机制，实现知识的即时更新，无需重新训练模型。

• 答复具有解释性 答案直接来自检索库，具有很强的可解释性，减少大模型的幻觉。

• 高度定制能力 可以根据特定领域的知识库和prompt进行定制，快速具备该领域的能力。

• 安全和隐私管理 通过限制知识库的权限来实现安全控制，确保敏感信息不被泄露。

• 减少训练成本 在数据上具有很强的可拓展性，可以将大量数据直接更新到知识库，无需重新训练模型。

使用 RAG 构建本地知识库的步骤主要包括准备文本资料、文本分块、嵌入以及存储到向量数据库，然后通过检索增强生成（RAG）链来生成回答。以下是详细的步骤和注意事项：

构建本地知识库的步骤

1. 准备文本资料：收集和整理相关领域的文本资料，确保资料的质量和完整性。

   
   

2. 文本分块：由于 LLM 的上下文窗口有限，需要将文本资料分割成较小的块，以便 LLM 能够处理。

   
   

3. 嵌入以及存储块到向量数据库：使用向量嵌入技术（如Ollama Embeddings）为每个文本块生成向量，并将这些向量存储到向量数据库中，如 Weaviate。

   
   

4. 检索 & 增强：利用向量数据库作为检索器，通过用户查询和嵌入向量之间的语义相似性获取数据，然后使用一个固定的聊天模板将检索到的上下文与用户的问题结合起来，发送给 LLM 进行回答。

   
   

5. 生成：LLM 根据接收到的上下文和问题生成回答，RAG 链将检索器、聊天模板以及 LLM 组合起来，完成这一过程。

   
   

注意事项和优化建议

• 在构建知识库时，注意文本的质量和多样性，确保覆盖广泛的主题和观点。

• 在文本分块时，合理设置块的大小和重叠部分，以便 LLM 能够有效地处理。

• 在嵌入和存储到向量数据库时，考虑使用不同的嵌入模型和数据库技术，以优化检索性能。

• 在检索增强生成阶段，尝试不同的聊天模板和 LLM 模型，以获得最佳的生成效果。

三金哥：在上面你提到了使用 RAG 构建本地知识库的步骤，其中使用向量嵌入技术为每个文本生成向量的 Embedding 技术以及检索时使用的的向量检索看起来是比较核心的操作，我们有什么办法能将 RAG 落地吗？

三金哥：我们能先从概念入手吗？先分别介绍下工作流中涉及到的一些概念，再来说一说这两者的关系，以及这两者在实际工作中要如何使用。

1. 确定目标和场景：首先明确你希望 Agent 在什么场景下执行什么任务。

   
   

2. 选择合适的 LLM 模型：根据任务的复杂性和性能要求，选择一个合适的 LLM 作为 Agent 的基础。

   
   

3. 设计 Agent 的行为逻辑：定义 Agent 如何感知输入、做出决策和执行动作的逻辑流程。

   
   

4. 集成外部资源和工具：如果需要，将 Agent 与外部数据库、API 或其他工具集成，以扩展其功能和能力。

   
   

5. 训练和优化：在实际数据上训练 Agent，并根据反馈进行迭代优化，以提高其性能和准确性。

   
   

三金哥：那 Agent 我们基本了解清楚了，工作流又是什么呀？

大师兄：初步体验了下混元上的“自定义工作流程编排”（工作流的内部叫法），我理解工作流就像搭积木一样，只不过这里是搭一个逻辑流程的积木。首先，得选择好需要的各种插件组件和模型组件，这些就像是搭积木的基本块。然后，通过 DAG 图把它们连接起来，就像积木之间的连接一样。

接下来，要定义好每个组件的输入输出，这就像是确定每块积木的接口，确保它们能够正确地拼接在一起。然后，需要构建和运行这个 DAG 图，这个过程就像是按照设计图来搭建积木城堡。

当然，除了这些基本的步骤，还有一些高级的功能，比如可以通过逻辑分流节点来决定流程的不同走向，这就像是给积木城堡设计不同的通道。最后，当完成了所有的设计和配置，就可以发布设计好的应用了，这样其他人就可以通过 API 来调用你的流程编排了。

三金哥：有点没明白，你说的这个工作流怎么看起来和 Agent 没有什么关系呢？

大师兄：你可以把上面提到的各个组件理解为一个 Agent，在实际编排的过程中，可以自定义 Prompt Template，如果你对我们前文提到的提示词模板和Agent 的关系还有印象的话，那就可以基本理解：这里的 Prompt Template 可以大致的被看做一个 Agent。

三金哥：你这么一说，我就理解了Agent 和工作流的关系了。那现在 Agent Workflow 的应用现状如何？

大师兄：据我所知，各大科技公司如字节跳动的豆包扣子、腾讯的混元等，均提供了支持工作流的平台和工具。这些平台通过提供易于使用的界面和丰富的 API 接口，降低了开发者构建和管理 Agent 的门槛。

Agentic Workflow 和工作流的关系

1. Reflection（反思）：一个让 AI Agent 通过自我审视和迭代来提高输出质量的过程。这样的机制不仅能让 Agent 更加精准地完成任务，还能让它从错误中学习，不断优化自己的表现。

   
   

2. Tool Use（工具）：LLM 可以生成代码、调用 API 等工具进行操作。例如，Kimi Chat使用网页搜索工具来检索相关内容，并基于检索结果进行总结分析，最后给出结论。

   
   

3. Planning（规划）：让 Agent 自行规划任务执行的工作流路径，面向于简单的或一些线性流程的运行。这包括子目标分解、反思与改进，将大型任务分解为较小可管理的子目标处理复杂的任务。

   
   

4. Multiagent Collaboration（多智能体协同）：多个 Agent 扮演不同角色合作完成任务。例如，通过开源项目 ChatDev，一个大语言模型可以扮演公司 CEO、产品经理、设计师、代码工程师或测试人员等不同角色，共同开发一个应用或复杂程序。

   
   

三金哥：我发现关于Agent和工作流的很多说法，你都使用了比喻呀，是不是直接进行说明不大好解释呢。

大师兄：是有一点。这些概念相对比较新，我们的应用又比较少，最好的能说明问题的方式可能就是比喻了。

三金哥：看来我们对于工作流的应用和探索还不够，不知道现在有哪些工作流的成熟的应用。

大师兄：这个你真把我给问到了。这个概念相对比较新，目前我还没看到比较好的应用，后面如果我了解到成功的应用，再和大家分享吧。

三金哥：那也只能这样了吧。我感觉后面这块应该是LLM应用的一个重点方向。你是怎么看待 LLM 的未来应用方向的？

大师兄：你这个问题问的有点太大了，以我浅薄的知识积累，很难回答好这个问题。

三金哥：我一直以为你没有自知之明呢，哈哈

大师兄：我只能试着回答一点。以 LLM 现在具备的能力，越来越多的垂域知识问答系统将会被构建出来，在各自的垂域中大家会逐渐探索利用 LLM 现有的能力去做可落地的提效方案，另外工作流可能会是一个不错的突破口，毕竟多个 Agent 按照一定的套路进行交互，还是让我们比较有想象空间的。

再有，随着 LLM 的发展，我们期望 LLM 能够具有更强大的能力，特别是多模态的能力，当 LLM 具备多模态能力之后，围绕着 LLM 多模态能力的应用将成为未来一段时间的重点。当然，如果发展的顺利的话，在我们的有生之年或许能看到 AGI 的实现。

三金哥：AGI 又是啥？

大师兄：AGI 是 Artificial General Intelligence 的缩写，即通用人工智能，指机器能够完成人类能够完成的任何智力任务的能力。

三金哥：那 AGI 与 LLM 有什么关系？

大师兄：AGI 的实现离不开 LLM 和多模态能力的结合。LLM 通过在计算密集型的自监督和半监督训练过程中，从文本文档中学习统计关系，来获得这些能力。大语言模型也是一种 GenAI，通过输入文本并重复预测下一个标记或单词，来生成新的文本。尽管 AGI 的潜在影响十分巨大，但也存在着许多挑战和风险，比如安全性、隐私保护、失业风险、道德问题等。

三金哥：期待 LLM 能够得到长足的发展，也期望我们所担心的问题，在 LLM 的发展过程中能够得到解决，我们相信人类的智慧。