生成式数据驱动的模型蒸馏技术探索与实践

生成式数据驱动的模型蒸馏技术探索与实践

亚信科技（中国）有限公司

人工智能发展历程从规则驱动到机器学习，现已迈入大模型时代，大模型在众多领域展现出了强大的性能。随着模型规模不断扩大，模型训练和推理对计算资源的需求也日益增加，限制了其在实际应用中的广泛部署。蒸馏作为一种有效的模型压缩技术，能够将大型复杂模型的知识迁移到小型简单模型中，使小型模型在性能上接近大模型，同时降低计算成本和资源消耗。

蒸馏的核心机制在于数据驱动的知识传递范式。数据在此过程中承担双重功能：既是承载教师模型决策逻辑的知识载体，也是校准学生模型泛化能力的基准标尺。然而在行业应用场景中，数据的高度异构性与领域依赖性对通用蒸馏方法构成严峻挑战。由于行业数据的独特分布和特性，获取高质量标注数据面临双重困境：一方面，专业标注依赖领域专家参与，如金融风险标签需分析师验证，医疗诊断标注需临床经验支撑，导致标注成本与时间开销激增；另一方面，数据隐私合规要求（如GDPR、CCPA）对原始数据的访问和使用施加严格限制，迫使蒸馏过程依赖间接数据或脱敏样本，这促使研究者转向生成式数据驱动模型蒸馏技术的研究和探索。通过大模型生成大量模拟数据，或基于有限标注样本进行语义重构，这些数据在分布和特性上与真实数据相似，从而为模型蒸馏提供了更丰富的训练资源。通过这种方式，生成式数据驱动的模型蒸馏技术突破了传统数据集的限制，能够在数据稀缺或标注困难的场景下实现有效的知识传递。

本文研究目的是深入探讨生成式数据驱动的模型蒸馏技术以及其在构建行业大模型中的应用。通过对该技术的系统研究和实践应用，为相关领域的研究人员和从业者提供理论支持和实践指导。

模型蒸馏是一种模型压缩与优化技术，通过将大型复杂模型（教师模型）的知识迁移到小型简单模型（学生模型）中，使学生模型在保持较小规模的同时，尽量接近教师模型的性能，从而显著降低计算成本、内存占用和存储需求，同时保持较高的性能水平。

• 教师模型（Teacher Model）：通常是经过大量数据训练的复杂模型，拥有较高的准确率和丰富的知识。在模型蒸馏过程中，它扮演着传授知识的角色。

  
  

• 知识（Knowledge）：知识是通过大量的数据训练获得的，包括各种特征的识别能力、数据的内在规律等。

  
  

• 学生模型（Student Model）：是一个结构更简单、参数更少的模型，目标是通过学习教师模型的知识来提升自己的性能。

图 1：模型蒸馏示意图

模型蒸馏的作用主要体现在以下几个方面：

• 模型压缩与优化

  
  

模型蒸馏能够将大型模型的知识提取并压缩到小型模型中，使其更易于部署在资源受限的设备上，如移动设备和嵌入式系统，降低硬件需求和运营成本，提高系统的整体性能。

• 加速推理过程

  
  

通过减少模型的参数量和计算复杂度，模型蒸馏可以显著提高模型的推理速度，满足实时响应的要求，如在实时推荐系统等场景中，模型蒸馏能够使模型更快地给出推理结果，提升用户体验。

• 保护数据隐私

  
  

在数据隐私受限的场景下，如医疗和金融行业，模型蒸馏可以在不直接使用原始数据的情况下，通过教师模型的输出或中间特征来训练学生模型，从而避免了数据隐私泄露的风险。

模型蒸馏可以将多个教师模型的知识融合到一个学生模型中，实现“多师带一徒”，在单模型大小不变的情况下获得更高精度；还可以将一个领域的知识迁移到另一个相关领域，帮助模型更好地适应新的数据分布和任务需求。

图 2：知识提取示意图

• 数据质量

  
  

• 一致性：数据在不同的来源、时间点和格式之间应保持一致。可以通过数据格式检查、关联数据验证等方法来评估。

  
  

• 准确性：数据应准确地反映现实世界中的情况或遵循特定的规则和逻辑。可以通过与真实数据的对比、专家评估等方式来验证数据的准确性。

  
  

• 完整性：数据应包含所有对模型学习和任务完成有帮助的必要信息。可以通过检查数据的字段完整性、记录完整性等来评估。

• 多样性

  
  

• 内容多样性：数据应涵盖广泛的主题、领域和内容类型。可以通过统计数据的主题分布、类别分布等来评估。

  
  

• 形式多样性：数据的表现形式也应多样化，如在图像数据中，可以包括不同分辨率、颜色空间、拍摄角度、光照条件等的图像；在文本数据中，可以包含不同的句子结构、词汇用法、语言风格等。

  
  

• 观点多样性：对于同一个问题或主题，合成数据可以包含多种不同的观点、意见和立场。

• 复杂度

  
  

• 数据复杂度：指数据本身的复杂程度，如数据的规模、维度、数据之间的关系等。可以通过数据的统计特征、信息熵等指标来评估。

  
  

• 任务复杂度：根据模型所要完成的任务来设计具有相应复杂度的数据。可以通过任务的难度级别、数据的挑战性等来评估。

  
  

• 问题复杂度：对于一些需要模型进行推理、分析和解决问题的任务，合成数据可以包含具有一定难度和复杂性的问题。

其中，质量与多样性之间往往存在权衡关系，这种权衡对模型性能有直接影响。在合成数据生成过程中，生成高质量数据可能会限制数据的多样性，反之亦然。例如，过于追求数据的准确性可能会导致数据来源单一、内容相似，从而降低数据的多样性；而过度追求多样性可能会引入一些质量较低的数据，影响模型的学习效果。因此，需要通过合理选择和优化合成数据生成算法、调整数据生成过程中的参数和策略等，来平衡数据的质量和多样性，以实现最佳的模型性能。

通过全面评估合成数据的质量、多样性和复杂度，可以确保模型蒸馏过程的有效性和学生模型的性能。数据评估结果还可以反馈给数据生成模块，用于优化生成过程，进一步提升合成数据的质量。下面将分别三种常用的评估方法：

• 基于规则的方法：通过预设的规则对数据进行检查，例如：对比标准答案、校验格式、长度判断、重复判断等，这种方法适用于明确的质量标准和格式要求，具有简单直观、易于理解和实现等优点，能够快速筛选出不符合基本要求的数据。

  
  

• 基于 Reward model 的方法：借助专门训练的奖励模型对数据质量进行量化评分，能够提供更细致的数据质量反馈，这种方法的评分方式包括相对分数、绝对分数、评论+分数、多数投票等。它适用于需要量化评估数据质量的场景，帮助我们更精准地选择高质量数据。

  
  

• 基于 LLM-as-Judge 的方法：利用强大的语言模型作为评判工具，从多个角度对数据进行综合评估，例如：维度导向、规则导向、多数投票等角度。这种方法适用于处理复杂的、语义丰富的数据，能够提供更深入的数据质量分析，帮助我们全面理解数据的特点和质量。

图 3：数据筛选示意图

获取知识之后，就需要将模型蒸馏到学生模型中。常用的蒸馏方式主要有：有监督微调、强化学习、偏好对齐。除此之外，还有监督微调+强化学习或监督微调+偏好对齐组合蒸馏方式。

• 监督微调（Supervised Fine-tuning）：监督微调通过最大化教师模型生成的序列的似然性来微调学生模型，让学生模型来模仿教师模型。这是目前LLMs模型蒸馏中最常用的一个技术。例如：DeepSeek-R1-Distill模型就是使用DeepSeek-R1全面微调时的训练集（80w样本），基于开源模型（Qwen、Llama）进行监督微调得到的。

  
  

• 强化学习（Reinforcement Learning）：强化学习通过构建“状态-动作-奖励”的交互框架，利用教师模型的反馈知识（如输出质量评分、风险预测信号）优化学生模型的行为策略。其核心是通过迭代式策略优化，使学生模型的决策逐步逼近教师模型的专家级表现，同时适应特定任务的目标（如风险最小化、收益最大化）。与监督微调蒸馏方法相比，强化学习更关注动态环境下的长期收益优化。该算法适用于利用教师的反馈知识来训练学生模型。主要有两个方面：（1）使用教师生成的反馈数据训练一个学生奖励模型，（2）通过训练好的奖励模型，以最大化预期奖励来优化学生模型。教师也可以直接作为奖励模型。

  
  

• 偏好对齐（Preference Alignment）：偏好对齐是一种通过显式优化目标函数，将人类或教师模型的行为偏好（如输出安全性、逻辑一致性、风格匹配等）直接注入学生模型的训练方法，使其符合人类的偏好和价值观。其核心是通过对比学习或排序学习，使学生模型的输出分布与目标偏好分布对齐，而非单纯模仿教师模型的输出概率或特征表示，其优点在于稳定且计算效率高。一些经典算法如直接偏好优化（DPO）和无梯度偏好优化（RRHF）等，都是实现偏好对齐的有效手段。例如在情感生成任务中，使用 DPO 算法和 GPT-2-large 模型，给定电影评论前缀生成情感为正的回复。

  
  

• 监督微调+强化学习：在进行强化学习之前，可以引入一个“Warm Up”或者“Cold Start”阶段，即SFT训练，用于对基础模型进行“热身”，避免在强化学习阶段的初期出现不稳定的现象。再用大量数据进行强化学习的训练。例如：Fin-R1金融大模型就是借助DeepSeek的推理能力基于SFT+GRPO的蒸馏方式训练得到的。

  
  

• 监督微调+偏好对齐：通过分阶段训练策略，先利用监督微调（SFT）建立学生模型的基础能力，再通过偏好对齐优化其行为特性，实现知识迁移与偏好约束的双重目标。该组合方法既能继承教师模型的知识密度，又能注入领域特定的行为准则（如安全性、逻辑严谨性）。

生成式数据驱动的模型蒸馏技术在行业应用中展现了巨大的潜力，尤其一些特定领域的应用。通过合成数据替代真实数据参与模型压缩，不仅解决了行业场景中数据稀缺、隐私合规和算力约束等核心痛点，还实现了领域知识的高效迁移与轻量化模型的性能优化。通过定制化训练，该技术能够显著提升模型在专业场景下的性能，实现领域知识的深度整合。同时，它还能够在保护数据隐私的前提下，满足实时性要求，并有效平衡模型的泛化能力。以下介绍在亚信科技渊思·通用人工智能与认知增强平台（简称 TAC MaaS 平台）上的模型蒸馏具体实践。

亚信科技渊思·通用人工智能与认知增强平台是亚信科技全力打造的智能化 MaaS 底座和“一站式”企业级 AI 平台，可提供全栈 AI 技术、开箱即用的 MaaS 服务，有效弥合通用大模型与行业应用的“鸿沟”。从模型选择、数据生成、模型训练、模型评估、安全防护和模型部署六步法，快速将模型蒸馏技术应用在行业大模型的构建中，贯穿 TAC MaaS 行业大模型的全生命周期。

图 4：MaaS 平台模型蒸馏流程示意图

模型选择包括教师模型选择和学生模型选择。一般来说，教师模型的性能越强，结合行业数据训练出来的学生模型的性能也会比较强。但考虑到在编程场景需要针对代码和长COT推理能力，在算力上考虑GPU/NPU资源的分配和模型的参数量，因此模型选择如下：

教师模型采用高性能通用大模型（如DeepSeek-R1），通过API调用其代码生成与逻辑推理能力。

学生模型聚焦轻量化领域适配，选用7B级开源模型（如Qwen2.5-Coder-7B）。

关键选择维度包括：

• 场景适配性：侧重代码风格检查、单元测试生成等编程任务。

  
  

• 算力经济性：GPU/NPU资源消耗降低60%（对比34B级模型）。

  
  

• 平台集成度：通过模型广场统一纳管，支持一键式模型加载。

  
  

目前 TAC MaaS 平台的模型广场内置了开源大模型，并支持大、小模型统一纳管。如下图所示：

图 5：MaaS 平台模型广场界面

图 6：MaaS 平台样本数据选择配置界面

图 7：模型蒸馏数据生成配置界面

图 8：MaaS 平台模型训练配置界面

在本项目中，首先通过蒸馏阶段实现知识迁移——教师模型（如DeepSeek-R1）生成高质量编程蒸馏数据集，驱动学生模型（如 Qwen2.5-Coder-7B）通过监督微调（支持全参/LoRA/QLoRA 策略）训练出初级蒸馏模型（如 UsightsCoder-7B）；随后在强化微调阶段，基于 RL-GRPO 算法（扩展自 PPO/DPO框架）结合拒绝采样机制（筛选通过率< 15% 的高价值样本）对蒸馏模型进行深度优化，最终生成高性能轻量化模型（如UsightsCoder-7B-R）。

阶段1：模型蒸馏

• 技术路径：特征对齐+响应蒸馏

  
  

• 教师输出：DeepSeek-R1 生成的代码优化方案

  
  

阶段2：强化微调

• 算法架构：RL-GRPO（Generalized Reward Penalization Optimization）

  
  

• 核心机制：

  
  

  拒绝采样筛选高价值样本（通过率 <15%）

  
  

  动态奖励模型：

  R_code=0.4R_accuracy+0.3R_efficiency+0.3R_security

  
  

  硬件加速：QLoRA 微调（GPU 显存占用降低 70%）

图 9：模型评估配置界面

图 10：MaaS 平台安全防护配置界面

通过 TAC MaaS 平台构建编程场景专属防护体系：

输入过滤层：

• 代码注入攻击检测（正则规则库> 1,200 条）

  
  

• 敏感API调用阻断（如 os.system,eval()）

输出控制层：

• 安全注释生成（规避密钥泄露风险）

  
  

• 合规性检查器（符合 ISO/IEC 5055 标准）

对于蒸馏训练好模型，TAC MaaS 平台支持部署成在线推理服务。后续用户可以根据实际模型的迭代，通过灰度发布，进行模型版本切换：

• 在线推理：将模型部署为可实时响应的服务，适用于对时效性要求高，需要快速、即时处理和反馈数据的应用场景。

  
  

• 灰度发布：在新模型全面部署到生产环境之前，可提供不同版本模型对应同一个服务的能力，通过设定分流规则，将服务流量分别发送到不同版本的模型上执行，对模型服务进行 AB 测试。