技术前沿

5. Task-specific Fine-tuning 的数据选择

2024 年 5 月 12 日

论文：A Survey on Data Selection for Language Models
链接：https://arxiv.org/pdf/2402.16827.pdf

73页全面综述：如何为大模型挑选“高质量”的数据？

本文针对大模型训练的 5 个阶段：Pretraining, instruction-tuning, alignment, in-context learning, and task-specific fine-tuning，提供了一个统一的视角，以比较、讨论、分类多种数据选择方法。

语言模型数据流程的过程从原始数据开始，经过清洗、过滤和混合，通过数据选择过程创建最终数据集，然后用于训练（或评估）模型。数据选择方法的细节和目标因学习阶段而异，数据选择五个常见目标：提高模型性能，提高数据效率，高效选择数据，确保评估度量的完整性，减少模型偏差和有害性。

1. Pretraining 数据选择

数据选择在Pretraining阶段的目标如下：

数据选择：预训练。大语言模型的第一阶段训练。数据选择目标重点是模型性能、评估完整性和选择效率。

数据选择在Pretraining阶段的方法主要包括：

预训练的目标通常是训练通用模型，这需要对大量文本进行训练，通常以数十亿和数万亿个令牌为单位。从如此大量的数据中选择最佳数据可能非常昂贵，因此该过程中常见的第一步是使用各种过滤器删除数据，并且可能需要将多个过滤器连接在一起才能获得所需的数据集。我们呈现预训练数据选择方法的顺序大致基于它们在实际数据选择管道中使用的顺序。当然，并非所有管道都需要此处介绍的每种方法，并且根据情况，确切的顺序可能略有不同。

2. Instruction-tuning 的数据选择

指令调整和多任务训练是解决预训练目标和下游用户目标之间不匹配的方法。多任务训练是一种模型在各种监督任务上进行训练的方法，其目标是执行所有训练任务，并可能推广到未见过的任务。最近，指令调整已成为一种主要的训练范例，其中模型是在（指令，输出）对上进行训练的，其中指令表示模型的人类指令，输出是所需的输出，或所需输出的示例。指令调优的目标是让模型以更可控、对用户更有帮助的方式约束模型输出。

数据选择在Instruction-tuning阶段的目标如下：

数据选择：指令调整。一般来说，选择数据进行指令调整时最重要的目标是模型性能和评估完整性

多任务训练和指令调整通常都假设模型已经过预训练并且已经获得了基本的语言能力。从广义上讲，经过多任务训练或指令调整训练的模型的目的是处理下游用例的各种可能输入，作为分类或生成模型。因此，这些设置的数据选择的目的几乎总是集中在收集更广泛的数据并使现有数据多样化。方法包括通过扩展任务和数据集实现多样化、基于手动和启发式的多样化、基于模型的多样化等。

3. Alignment 的数据选择

各种对齐方法，包括人类反馈强化学习 (RLHF)、人工智能反馈强化学习 (RLAIF) 或直接偏好优化 (DPO) 方法，都涉及将人类偏好整合到模型行为中。此训练过程旨在引导模型响应通常更有帮助且危害较小，而在其他训练阶段（例如预训练或指令调整），这些偏好信号可能不会在效用函数中明确定义。这些方法归为偏好微调 (PreFT)，通常遵循大型生成模型训练流程中的指令调整。该数据的格式通常是三重奏（提示；选择、拒绝），其中提示是用户的指令或其他请求，选择是首选答案，拒绝是次要答案。

数据选择：对齐。通常，选择对齐数据时最重要的目标是减少偏差和有害性以及模型性能。

PreFT 的数据选择方法非常新兴，通常侧重于从模型中获取有关特定功能和评估的信号。在这种情况下，数据选择的主要方法是手动过滤、基于模型的评估和奖励模型重新加权（例如拒绝抽样）。

4. In-Context Learning 的数据选择

上下文学习（ICL）是一种广泛使用的语言模型（LM）提示范例。没有使用 LM 进行微调，而是给出了一些演示示例作为提示，指导语言模型对输入查询执行类似的预测任务（Brown 等人，2020）。众所周知，ICL对演示的选择甚至排序很敏感。为了在不广泛训练潜在的大型 LM 的情况下提高 ICL 性能，最近的许多论文致力于通过以下方式构建更好的上下文演示：从一组固定的演示中选择最佳排序，从大量标记数据中进行选择，或者策略性地注释一小组未标记的数据。

该阶段的数据选择的方法主要包括Demonstration reordering、Demonstration selection、Selective annotation。