基于多教师蒸馏的持续学习技术

基于多教师蒸馏的持续学习技术

• 灾难性遗忘：神经网络所学到的知识存储在模型参数中（如Attention参数），当神经网络在新数据集上学习新任务时，网络中的参数会被更新，而旧任务的知识则会被覆盖，导致更新后的模型在旧任务上的表现出“遗忘”。

• 稳定性和可塑性：稳定性是指保留旧知识的能力，可塑性指学习新知识的效率。两者此消彼长，相辅相成，目的在于让训练的模型更通用。

图1：人类不同阶段的持续学习

现有的持续学习技术主要从样本、参数、损失等方面进行探索，大致可分为三个方向，分别是基于样本重放的方法、基于参数正则的方法和基于参数孤立的方法。

• 基于样本重放的方法：缓存部分历史数据，和新数据一起训练。抗遗忘能力较好，缺点是需要额外的存储空间来缓存训练数据。

• 基于参数正则的方法：限制重要参数的更新或进行知识蒸馏。抗遗忘能力适中，优点是不需要额外的可学习参数和存储空间。

• 基于参数孤立的方法：为每批数据分配专属的参数，最终形成大参数量模型。抗遗忘能力最好，缺点是需要越来越多的可学习参数，训练和推理效率降低。

图2：持续学习方法示意图

基于落地的实际应用案例需求，综合考虑了抗遗忘能力、推理效率和存储空间需求三个方面，最终提出了一种基于多教师蒸馏的持续学习方法（Multi-Teacher Distillation for Incremental Object Detection, MTD)。实验表明，该方法能有效应对灾难性遗忘这一技术挑战，引入的专家模型，可较好地协调新旧知识在稳定性和可塑性维度上的平衡。

Step1：进行有效样本选择。通过主动学习技术，挑选最具代表性的基础数据作为重演数据，和新数据组合后形成最终的训练样本集。

Step2：进行多教师蒸馏计算，巩固旧知识，学习新能力。通过基础模型和专家模型指导学生模型的训练，基于解耦特征蒸馏方式，得到蒸馏损失。

Step3：通过学生模型的预测结果和真实标注计算，得到常规损失。

Step4：进行综合损失计算。将蒸馏损失和常规损失相加后，反向传播，更新学生模型的参数。

图3：多教师蒸馏技术训练示意图

为了解决大规模、低质量数据带来的计算开销、存储开销问题，提出了一种主动数据筛选技术。该技术基于主动学习方法，利用最小特征图结构相似性原理，从基础数据中挑选出最具代表性的数据，能大幅度提升模型的训练性能，更能高效地抓住数据的主要特征，提升模型精度。

• 历史数据：存量任务/场景数据集，通过提取少量样本，用于巩固模型对旧知识的记忆。

• 新增数据：新增任务/场景数据集，提取有效数据样本，用于提升模型对新知识的学习。

• 重演数据：来自历史数据、新增数据中的代表性数据，最终形成模型训练数据集。

图4：主动数据筛流程图

多教师蒸馏部分，期望在保证模型推理效率的同时，极力地克服稳定性和可塑性的困境。通过采用模型网络一致性蒸馏架构，特征解耦蒸馏方法，最大化保证逐层特征学习。

Step1：通过历史数据，训练基础模型，用于学生模型的旧知识指导。

Step2：通过新增数据，训练专家模型，用于学生模型的新知识指导。

Step3：利用数据标签，对基础、学生和专家模型进行特征解耦，分为基础目标区域、新目标区域和背景区域。

Step4：结合各部分蒸馏损失，计算整体蒸馏损失。

其中，  、  和  分别为基础模型、学生模型和专家模型的特征，  为特征距离函数，一般是L2范数。  、  和  分别表示基础目标区域、新增目标区域和背景区域的0-1掩码。  、  和  分别表示各区域的像素数。  、  和  分别表示各区域的损失系数。

图5：多教师蒸馏计算结构图

本文提出了一种基于多教师蒸馏的持续学习框架，通过主动学习、特征解耦蒸馏等方法，有效提神经网络模型的持续学习能力。并且本方法可通用地适配于现有的卷积神经模型，广泛应用到任何边缘设备。

未来，我们将继续优化蒸馏算法，进一步开展大模型、多模态方向上的持续学习研究。同时，也将逐步在智慧园区、智能物流、智慧电厂等多个场景中进行落地尝试。