《大模型训练数据白皮书》：大模型是数据要素价值释放的最短路径

1、训练大语言模型的数据

大语言模型所需要的数据内容与质量将根据训练的阶段有所不同，包括预训练（Pre-training）、监督微调（SFT）、基于人类反馈的强化学习（RLHF）三个阶段，三个阶段分别需要的语料特征可以概括为“广”、“齐”和“专”。

2、训练多模态模型的数据

多模态模型则模拟人类大脑处理信息的方式，把各种感知模态结合起来，以更全面、综合的方式理解和生成信息，其在训练阶段更多地需要大量图像-文本对、视频-文本对等有标注数据集。

3、训练数据的常见疑问和误解

本书认为，大模型训练数据主对语料库等知识性内容有强烈需求，大大模型训练并不依赖用户个人信息；中文语料短缺不是制约我国大模型发展的重要因素，但中式价值观类语料的短缺可能会成为制约我国大模型发展的短板。

1、高质量数据的重要性

高质量数据可以更好地模拟客观世界，将其作为训练数据可增强模型能力。从模型能力表现来看，一是高质量数据可以提升模型的准确性和稳定性，二是高质量数据具有多样性，可以降低模型对特定数据集的依赖，提升鲁棒性和泛化能力。

2、高质量数据的标准

高质量数据的类型具有三重不确定性，包括所需的语料种类的不确定性、语料形态演化的不确定性以及不同数据类型之间有效搭配的不确定性。而其评判具体标准需依据模型需求、训练阶段及目标任务多维度动态界定。

1、训练数据供给不足带来的思考

人们正在积极探索新数据源，以缓解训练语料可能面临不足的问题。而利用模型或算法批量生成新数据，比如合成数据，并作为训练数据供给不足的新方案，则获得大量讨论。

2、合成数据的定义

合成数据是通过算法和数学模型创建的。首先建模真实数据的分布，然后在该分布上进行采样，创建出新数据集，模拟真实数据中的统计模式和关系。

3、合成数据的必要性

需要合成数据的本质原因是真实世界中获取数据遇到困难，表现在真实世界中难以观测，数据获取的成本高，以及数据获取和处理涉及到真实世界中的个信等方面。

4、合成数据的生成方法及分类

根据是否基于实际数据集生成，合成数据生成方法主要分为基于真实数据集构建，和通过使用现有模型或者人类专业背景知识来创建等两类。根据用于训练的AI类型，可以将合成数据分为应用于生成式AI和判别式AI训练两类。

5、合成数据在大模型训练中的作用

合成数据作为真实数据的一种替代，未来发展潜力巨大，可作为一个“新物种”密切关注；此外，目前合成数据可被应用于提升对齐阶段的数据获取效率。

6、解决训练数据供给不足的新方案

合成数据为模型数据供给提供了新的技术方案，帮助解决高质量训练数据供给不足的问题，包括拓展训练数据的多样性、提高模型的安全性和可靠性、用户隐私保护和数据获取合规性等方面。

7、在发展中治理的合成数据

相比于对合成数据量的扩增，在应用中要更重视质的提升；合成数据本身具备良好的安全性，在后续使用中较为可靠；对合成数据仍需设置相应的安全管控策略，确保模型整体的安全性不会因为合成数据的使用而受到影响。

1、大模型对训练数据的使用特点

大模型在使用训练数据时展现出以下特点：大模型训练数据在训练阶段并不依赖个人信息，而更侧重于全球知识与高质量语料；对于版权类数据主要采取了转换性使用，更偏向于合理使用或法定许可。

2、大模型训练数据合规的治理之智

|基于大模型对训练数据的使用特点，应构建顺应模型发展的新时代的数据治理制度，包括重视数据的可及性，提升模型安全训练数据的供给，以及应用新技术以提升训练数据的合规性和安全性等方面。

1、美国的现状

美国在获取大模型数据方面的现状体现了政府与社会力量的紧密合作。美国联邦政府发挥了AI训练数据“汇聚融合”的角色，而美国社会力量则整合了政府数据与网络公开数据，并形成高质量训练语料。

2、中国的现状

我国尚未形成对大模型提供有效供给的数据资源生态。我国的公共数据覆盖范围比美国更广，但在开放共享和开发利用程度上仍有不足；我国的社会力量则主要是结合海外优质开源数据集及中文语料，产出训练数据集。