知识库

从RAG到ReST：揭秘AI语言模型的进化之路，颠覆你的知识观！

2024 年 7 月 23 日

在人工智能的迅猛发展浪潮中，语言模型的进化从未停歇。随着技术的不断突破，RAG（检索增强生成）技术以其独特的优势，正引领着一场关于知识获取和生成内容的革命。

随着ReST（检索到序列转换）技术的崛起，一个新的竞争者进入了人们的视野。这不仅是技术的较量，更是对未来智能对话系统发展方向的探索。

在这个充满变革的时代，我们不禁要问：RAG和ReST，这两种先进技术将如何塑造大型语言模型的未来？

它们在提升模型性能、增强知识获取能力以及优化生成内容方面，各自又有哪些独特的优势和挑战？

本文将深入探讨RAG到ReST的技术演进，揭示它们在大型语言模型开发中的应用和影响，同时探讨它们在实际应用中可能引发的争议和挑战。

@鲁班AI lab 梳理了下相关讯息，以供参考。

追逐AI的浪潮！文末附学习资料，赶快收藏，并分享给你的好友哦

Part 1

RAG(增强检索生成)

图片来源于网络

检索增强生成（Retrieval-Augmented Generation，RAG）是一种结合了信息检索和文本生成的技术，它能够有效地提升大型语言模型（Large Language Models，LLMs）在处理复杂查询和知识密集型任务时的性能。RAG技术通过从广泛的文档数据库中检索相关信息，并利用这些信息来引导生成过程，从而提高了内容的准确性和相关性。

RAG技术的核心在于其能够缓解LLMs可能产生的误导性“幻觉”问题，提高知识更新的速度，并增强内容生成的可追溯性，使得大型语言模型在实际应用中变得更加实用和可信。此外，RAG技术通过利用外部知识库，减少了对模型内部知识更新的依赖，同时也降低了因模型规模增大而带来的计算资源消耗。

RAG框架主要包含三个组成部分：检索（Retrieval）、增强（Augmentation）和生成（Generation）。在检索阶段，系统从外部知识源中定位并提取与输入查询相关的信息；在增强阶段，检索到的文档进一步用于辅助生成过程；最后在生成阶段，根据检索到的信息产生所需的输出。

RAG技术已经在多种任务中展现出其潜力，包括问答（QA）、推荐、软件工程、科学和金融等领域。例如，在问答系统中，RAG技术可以通过检索相关知识来辅助模型提供更准确的答案，增强了模型对于特定领域知识的理解和应用。

然而，RAG技术也面临一些挑战，如检索结果中的噪声可能会对系统输出质量产生负面影响，以及检索与生成组件之间的复杂交互需要精心设计与优化。此外，RAG系统在实现过程中需要在成本和性能之间做出权衡，特别是在处理大规模数据集时，数据存储和访问的复杂性也会增加。

Part 2

从RAG到REST

图片来源于网络

高级研究科学家 Giorgio Roffo 全面探讨了 LLM 面临的挑战以及应对这些挑战的创新解决方案。研究人员引入了检索增强生成（RAG）作为一种访问实时外部信息的方法，从而增强了各种应用程序的LLM性能。他们讨论了 LLM 与复杂任务的外部应用程序的集成，并探索了提高推理能力的思维链提示。
程序辅助语言模型（PAL）等框架，该框架将LLM与外部代码解释器配对以进行精确计算，并研究了ReAct和LangChain等用于解决复杂问题的进步。
研究人员还概述了用于开发 LLM 驱动的应用程序的架构组件，包括基础设施、部署和外部信息源的集成。本文提供了对各种基于 transformer 的模型、扩展模型训练的技术以及微调策略的见解，以增强特定用例的 LLM 性能。

认为 ChatGPT 和 Gemini 等现代生成式 AI 系统只是 LLM 的看法过于简单化了其复杂的架构。这些系统集成了多个框架和功能，远远超出了独立的 LLM。LLM的核心是LLM，它是生成类人文本的主要引擎。然而，这只是更广泛、更复杂的框架中的一个组成部分。

检索增强生成（RAG）等工具使模型能够从外部来源获取信息，从而增强了模型的功能。思维链（CoT）和程序辅助语言模型（PAL）等技术进一步提高了推理能力。像 ReAct（推理和行动）这样的框架使 AI 系统能够计划和执行解决问题的策略。这些组件协同工作，创建了一个复杂的生态系统，提供更复杂、更准确和上下文相关的响应，远远超出了独立语言模型的能力。

LLM 训练的当前进展侧重于跨多个 GPU 的高效扩展。分布式数据并行（DDP）和完全分片数据并行（FSDP）等技术可在 GPU 之间分配计算和模型组件，从而优化内存使用和训练速度。

FSDP 受 ZeRO（零冗余优化器）框架的启发，引入了三个优化阶段，以分片模型状态、梯度和参数。这些方法可以训练较大的模型，并加快较小模型的训练过程。此外，1 位 LLM 的开发（如 BitNet b1.58）在内存效率、推理速度和能耗方面提供了显著改进，同时保持了与传统 16 位模型相当的性能。

微调技术可增强大型语言模型在特定任务中的性能。指令微调使用提示完成对来更新模型权重，从而改进特定于任务的响应。多任务微调通过同时训练多个任务来减轻灾难性的遗忘。

PEFT 方法（如低秩自适应（LoRA）和提示调优可减少计算需求，同时保持性能。LoRA 引入了低秩分解矩阵，而提示调优则添加了可训练的软提示。这些技术大大减少了可训练参数的数量，使微调更易于访问和高效。未来的研究旨在优化参数效率和模型性能之间的平衡，探索混合方法和自适应PEFT方法。

来自人类反馈的强化学习（RLHF）和强化自我训练（ReST）是使大型语言模型与人类偏好保持一致的高级技术。

RLHF 使用人类反馈来训练奖励模型，该模型通过强化学习算法（如近端策略优化（PPO））来指导语言模型的策略优化。

ReST 引入了一个双循环结构：生成输出预测的 Grow 步骤，以及使用离线 RL 对该数据集进行改进步骤过滤和微调。

RLHF 提供直接对齐，但面临高昂的计算成本和潜在的奖励黑客攻击。ReST通过分离数据生成和策略改进来提供效率和稳定性。

这两种方法都显著提高了模型性能，ReST在大规模应用中显示出特别的前景。未来的研究可能会探索结合其优势的混合方法。

Part 3

总结思考

图片来源于网络

本文全面概述了 LLM 的最新进展，并解决了其固有的局限性。

它引入了创新技术，例如用于访问当前外部信息的 RAG、用于精确计算的 PAL，以及用于与外部数据源有效集成的 LangChain。

本文探讨了微调策略，包括指令微调和参数高效方法，如 LoRA 和提示调优。它还讨论了 RLHF 和 ReST 等对齐技术。此外，还介绍了变压器架构、模型训练的缩放技术和实际应用。

这些进步旨在提高 LLM 在各个领域的性能、可靠性和适用性，为更复杂和上下文相关的 AI 交互铺平道路。

综合这些技术进步，LLM在性能、可靠性和适用性方面均有了显著提升，为实现更复杂和上下文相关的AI交互铺平了道路。

展望未来，随着技术的不断成熟和应用，我们预期LLM将在更多领域内提供更加精准和人性化的支持。

个人而言，这些技术的发展不仅展示了人工智能领域的创新潜力，也反映了我们对于构建更智能、更可靠AI系统的不懈追求。随着这些技术的融合与演进，我们正逐步迈向一个由高度智能AI驱动的新时代。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务，帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们

从RAG到ReST：揭秘AI语言模型的进化之路，颠覆你的知识观！

RAG(增强检索生成)

从RAG到REST

图片来源于网络

总结思考

立即咨询 JOTO

想把这些做法用到你的业务里?

开启企业级 AI 落地

填写需求单