大模型是怎么训练的 微调vsRAG

模型训练的关键

在理解提示工程、RAG和微调时，我们首先需明白大模型的训练依托于海量多样数据，使其具备跨领域的综合能力。以一个具体案例为例，当面对问题解答失败的情况时，需从三方面分析：一、提问者表述不清，此时采用提示工程，优化问题描述以便理解；二、回答者知识空白，引入RAG，通过补充领域背景知识以重塑解答环境；三、回答者自身能力不足，转向模型微调，提升解答能力与方法论，而非简单抱怨或依赖外部信息。工程实践中，应依次尝试提示工程、RAG，最后才是模型微调，避免一开始就进行微调，这是工程流程中的不当做法。

微调

LoRA 基本概念



检索增强RAG

说到模型微调，这里就必须要提一下检索增强RAG了。RAG是微调的一种替代方法，它结合了自然语言生成和信息检索。RAG确保语言模型通过外部最新知识或相关文档提供信息来源。「这种技术弥合了通用模型广泛知识与最新知识信息需求之间的差距」。因此，RAG是事实随时间演变情况下的重要技术。「RAG的优势」 RAG相较于微调的一个优势在于信息管理。传统的微调将数据嵌入到模型架构中，实质上是“硬编码”知识，这不容易修改。而RAG允许训练数据的持续更新，并允许数据的移除或修订，确保模型保持准确。

「RAG与微调的关系」 在语言模型的背景下，RAG和微调通常被视为竞争方法。然而，它们的结合使用可以显著提高性能。特别是，微调可以应用于RAG系统，以识别和改进其较弱的组件，帮助它们在特定LLM任务上表现出色。

RAG增强检索的工作原理，其核心是将企业的知识和私有知识库与大模型融合，解决用户问题。流程包括将大量文本拆解成段落，转换为向量并存储于向量数据库中。当用户提问时，问题被转换为向量，通过向量数据库检索可能包含答案的段落，形成context。将问题和context合并在prompt中，提交给大模型生成最终回复。关键步骤在于文档合理拆解和向量数据库的应用。

微调最佳实践

「明确任务」：在微调大型语言模型的过程中，明确任务是基础步骤。它可以提供清晰的方向，确保模型的强大能力被引导用于实现特定目标，并为性能测量设定明确基准。

「选择合适的预训练模型」：使用预训练模型进行微调至关重要，因为它利用了从大量数据中获得的知识，确保模型不会从零开始学习。这种方法既计算效率高又节省时间。此外，预训练捕捉了通用语言理解，使微调能够专注于领域特定的细节，通常能在专业任务中带来更好的模型性能。

「设置超参数」：超参数是模型训练过程中可调整的变量，对找到适合任务的最优配置至关重要。学习率、批量大小、周期数、权重衰减等是关键的超参数，需要调整以优化模型。

「评估模型性能」：微调完成后，通过测试集评估模型性能。这提供了对模型在未见数据上预期表现的无偏评估。如果模型仍有改进空间，也应考虑迭代优化模型。