SFT（Supervised Fine-Tuning），也就是监督式微调。为了帮助大家理解，我们先来讲一个故事。
假设你有一个特别聪明的朋友，他上知天文、下知地理，对各种知识都了如指掌。这就好比是一个经过大规模预训练的大语言模型，已经具备了非常强大的通用语言能力。但是，当你向他请教一些特别专业的问题，比如如何进行高精度的芯片制造，他可能就回答得不太好了。
这时候该怎么办呢？我们就需要对他进行 “培训”，也就是监督式微调。我们收集很多关于芯片制造的专业问题和对应的准确答案，然后让这个朋友学习这些问题和答案。经过一段时间的学习，他在芯片制造这个专业领域的回答能力就会大大提升。
大语言模型的 SFT 也是类似的道理。预训练模型虽然很强大，但在面对特定领域的任务时，往往不够精准。于是，我们准备大量该领域的标注数据，这些数据就像是给模型的 “学习资料”，里面包含了输入和期望输出之间的明确对应关系。模型通过学习这些数据，不断调整自己的内部参数，就像学生通过做练习题来巩固知识一样，从而在特定任务上的表现更加出色。
比如，我们想让一个大语言模型成为医疗领域的专家，就可以收集大量的医疗病例、医学知识问答等数据，对模型进行 SFT。这样，它就能更准确地回答关于疾病诊断、治疗方案等医疗专业问题了。
Lora（Low-Rank Adaptation），低秩自适应。这个名字听起来有点复杂，我们还是通过一个例子来理解。
想象一下，你要搭建一个巨大的积木城堡，这个城堡就像是一个大语言模型，每一块积木就是模型的一个参数。传统的微调方式，就像是把整个城堡推倒重来，重新搭建，这样不仅耗费大量的时间和精力，还需要很多积木（计算资源）。
而 Lora 呢，就像是找到了一种更巧妙的方法。它发现，其实在城堡的某些部分，不需要全部的积木都参与调整，只需要在旁边增加一些特定结构的小积木块（新增的低秩矩阵），并且只调整这些小积木块，就能达到和重新搭建城堡类似的效果。
具体来说，Lora 在不改变预训练模型大部分参数的情况下，在模型的某些层旁边新增了两个低秩矩阵。这两个低秩矩阵就像是模型的 “小助手”，在模型进行运算时，它们会和原来的参数矩阵一起工作。在训练过程中，只需要训练这两个低秩矩阵的参数，而不需要动原来模型的大量参数。这样一来，需要训练的参数量就大大减少了，训练速度也会加快，同时还能节省大量的计算资源，就像用更少的积木和更短的时间，搭建出了一个功能相似的城堡。
SFT 非常依赖大量的标注数据，就像学生需要大量的练习题来提高成绩一样。只有有了足够多、高质量的特定领域数据，SFT 才能让模型在该领域有很好的表现。 Lora 对数据的依赖相对没那么大，它主要是通过巧妙的参数调整方式来优化模型，即使数据量不是特别多，也能在一定程度上提升模型在特定任务上的性能。
SFT 是对模型的部分参数进行调整，通过在特定任务的数据上进行训练，让模型学习到任务相关的模式和知识。 Lora 则是通过添加额外的低秩矩阵，并且只训练这些低秩矩阵的参数，来适应特定任务，原模型的大部分参数是被冻结不动的。
SFT 由于需要处理大量数据，并且对模型参数进行较多调整，所以对计算资源的需求比较高，就像是重新搭建城堡需要很多人力和材料。 而 Lora 因为只训练少量的低秩矩阵参数，大大减少了计算量和内存占用，对计算资源的需求相对较低，就像是用简单的方法搭建城堡，更节省资源。
Lora 和 SFT 就像是 AI 世界里的两位魔法师，它们各自施展着独特的魔法，让大语言模型能够更好地为我们服务。无论是想让模型在专业领域更加精通，还是在资源有限的情况下优化模型性能，它们都能发挥出巨大的作用。随着技术的不断发展，相信 Lora 和 SFT 会在未来的 AI 世界的后训练中可以创造出更多的价值。
