轻量化微调 (Parameter Efficient Fine-Tuning，PEFT):一种优化策略，用于减少模型的计算资源需求，同时保持或提高模型性能。由于大模型的参数太大，即使是fine-tuning通常也需要很大的算力和数据，因此提出在保持原有大模型参数不变的前提下，注入少量参数，通过只训练该部分参数的方式来实现微调目的。
在机器学习和深度学习领域，训练、预训练、微调和轻量化微调是几个重要的概念，它们通常用于模型的构建和优化过程中。下面是这些术语的基本解释：
训练 (Training):
训练是机器学习模型学习数据特征和模式的过程。在这个过程中，模型通过大量的数据输入来调整其参数，以便能够准确地预测或分类新的数据。训练通常涉及到损失函数的最小化，这是衡量模型预测与实际结果差异的指标。
预训练 (Pre-training):
预训练是一种在大规模数据集上训练模型的方法，以便学习通用的特征表示。预训练模型通常在特定任务上表现良好，因为它们已经学习了数据的一般性特征。例如，在自然语言处理中，预训练的BERT模型可以捕捉到语言的复杂结构和语义信息。
微调 (Fine-tuning):
微调是在预训练模型的基础上进行的进一步训练，目的是使模型适应特定的任务或数据集。在微调过程中，通常会冻结预训练模型的一部分参数，只训练模型的顶层或特定层，以便模型能够针对新任务进行调整。微调可以显著提高模型在特定任务上的性能。
