从PEFT到未来：大模型微调的高效新方法全面揭秘！

一、PEFT 主流技术分类

1. 增量模型（参数）：

定义：增量模型技术通过只调整模型的一部分参数或特定层，来减少计算和存储需求。简单来说，就是在不修改整个模型的情况下，对模型进行局部调整。

应用：这种方法特别适用于需要快速适应新任务或新数据的场景。通过只对模型的某些参数进行调整，可以显著减少计算量和存储需求。




2. 适配器：

定义：适配器是在预训练模型中插入的小型模块，通过微调这些模块来适应新任务。这种方式不会修改原始模型的权重，只对适配器进行调整。

优势：适配器的使用使得我们可以在不同任务中复用相同的预训练模型，只需训练适配器部分即可。这样，训练过程更高效，节省了大量的计算资源。




3. 软提示：

定义：软提示技术通过在模型输入中加入可学习的嵌入（soft prompts），来引导模型生成期望的输出。与硬提示（如手动设计的提示）不同，软提示是可优化的。

应用：这种方法可以在不更改模型本身的情况下，通过调整输入的提示来控制模型的输出结果。这使得在处理不同任务时，可以灵活地调整模型的行为。




4. 选择性方法：

定义：选择性方法仅对模型的部分参数或层进行更新，以提高微调的效率。这种方法通过选择性地微调模型，减少了不必要的计算和存储需求。

应用：这种方法特别适合于需要快速适应特定任务的场景，因为它能大幅度降低计算量，同时保持模型的高效性。




5. 基于重参数化方法：

定义：基于重参数化的方法通过对模型结构或参数进行重新配置，来提高模型在新任务上的性能。这种方法通常涉及对模型的参数进行重新调整或重定义。

应用：这种技术可以有效优化模型的性能，使其更加适合特定的任务需求，从而提高模型的整体表现。

二、UniPELT：PEFT 大模型的统一框架

1. Adapters（适配器）：

功能：在模型中插入适配器层，通过微调这些层来适应新任务。适配器的设计可以根据任务需求进行调整，从而实现高效的任务适配。

应用：适配器可以在模型的不同位置插入，如前馈网络层，以便在不改变模型原始权重的情况下，快速进行任务适配。




2. Soft Prompts（软提示）：

功能：通过在模型输入中加入可学习的提示，来引导模型生成期望的输出。软提示与传统的硬提示不同，它们是可优化的，可以根据任务需求进行调整。

应用：这种方法可以灵活地调整模型的行为，从而在处理不同任务时，提高模型的输出质量。




3. Reparametrization-based（基于重参数化的方法）：

功能：通过重参数化技术对模型进行优化，从而提高模型在新任务上的表现。这种方法通常涉及对模型参数的重新配置。

应用：基于重参数化的方法可以有效提高模型的性能，使其更适合特定任务的需求。

三、UniPELT的技术组合探讨

1. Adapter（适配器）：

接入位置：适配器可以接入到模型的不同位置，如前馈网络（FFN）层。这些位置的选择可以影响适配器的效果。

接入方式：适配器可以以串行或并行方式接入模型。串行方式将适配器层连接到模型的各个层次，而并行方式则在模型的每个层次上并行插入适配器。

MLP 设计：适配器的多层感知机（MLP）设计涉及隐藏层的维度调整。合适的MLP设计可以提高适配器的有效性和性能。




2. Soft Prompts（软提示）：

嵌入方式：软提示可以通过不同的方式嵌入模型中，如Prompt-tuning、Prefix-Tuning和P-Tuning等。每种方式的优缺点不同，可以根据任务需求选择合适的方式。

Prompt 微调方法：软提示的微调方法可以是手工生成的提示，也可以通过连续可微优化得到的提示。连续可微优化的方法可以更灵活地调整模型的行为。




3. Reparametrization-based（基于重参数化的方法）：

缩放因子：例如，秩（Rank）r的缩放因子可以影响模型的重参数化效果。

模型参数/模块类型：如权重量化（WQ）、权重值（WV）等，这些参数或模块的选择可以影响模型的性能。

四、(IA)3：探索新的增量训练方法

IA3的主要特点包括：

1. 高效性：

参数减少：IA3大幅减少了可训练参数的数量。例如，对于T0模型，IA3模型仅含约0.01%的可训练参数，而LoRA的可训练参数比例大于0.1%。

性能表现：使用IA3进行微调的模型，其表现与完全微调模型相当，但计算量更少。




2. 冻结预训练权重：

保持冻结：预训练的权重保持冻结状态，使得可以构建多个轻量级IA3模型，用于各种下游任务。这种方法减少了对原始模型的修改，提升了灵活性。




3. 推理延迟：

无增加：IA3不会增加推理延迟，因为适配器权重可以与基础模型合并。这意味着模型的推理速度不会受到影响。




4. 应用范围：

通用性：IA3可以应用于神经网络中的任何权重矩阵子集，以减少可训练参数的数量。例如，在Transformer模型中，IA3权重被添加到关键（K）、值（V）和前馈网络（FFN）中。

五、大模型高效微调技术的未来发展趋势

1. 更高效的参数优化：

目标：研究将继续寻找更高效的参数优化方法，减少计算资源和参数量。可能包括更先进的参数共享策略和更高效的LoRA技术。




2. 适应性和灵活性的提升：

目标：微调方法将变得更加灵活，能够适应各种任务和数据集的优化需求，提高模型的适应性。




3. 跨模态和多任务学习：

目标：PEFT技术可能会扩展到跨模态（如文本、图像和声音结合的模型）和多任务学习领域，以提升模型处理多种任务和数据类型的能力。




4. 模型压缩和加速：

目标：随着边缘设备和移动设备对AI模型的需求增加，PEFT技术将重点关注模型的压缩和推理速度的提升，以适应这些设备的需求。




5. 低资源语言和任务的支持：

目标：将PEFT技术应用于低资源语言和特定领域任务，提供更广泛的语言和任务覆盖，提高模型的普适性和实用性。