[发明专利]基于持续学习的图像分类方法以及装置

说明书

本发明公开了一种基于持续学习的图像分类方法以及装置，方法包括：获取待分类的目标图像，所述待分类的目标图像包括一部分存储的旧类数据图像和新增类别的图像；将待分类的目标图像输入到预先构建的图像分类模型并得到分类特征向量；根据分类器和所述分类特征向量，对图像样本进行训练，得到目标图像的分类结果；根据训练所得到的相关参数，对所述图像样本进行删除和保留。本发明能够自适应地通过权衡模型的稳定性和可塑性来缓解基于持续学习的图像分类网络的灾难性遗忘问题，以实现在保持不遗忘旧知识的情况下，有效提高新类图像的分类准确率，最终使得模型能够像人一样的学习。

技术领域

本发明涉及图像处理的技术领域，具体涉及一种基于持续学习的图像分类方法以及装置。

背景技术

随着人工智能技术的不断突破和各种智能终端设备的日益普及，需要处理的图像数量呈现几何级别的增长。在图像处理领域中，最为常见的一个任务便是图像分类任务。目前，图像分类任务的效果已经被证明达到了人类的水平。为了进一步获得人类的终身不断获取、调整和转移知识的持续学习的能力，目前研究主要集中在任务增量学习或类增量学习上。任务增量学习(TIL)假定任务彼此相对独立，共享相同的特征提取器但具有特定于任务的模型分类器头。相比之下，类增量学习(CIL)假设该模型是针对单个任务的，单个特征提取器和单个分类器头部在多轮连续的过程中不断更新学习。由于TIL假设用户知道在推理期间使用哪个任务头，因此CIL是一个相对更具挑战性的问题。

目前，许多专家学者已经提出了多种方法来解决CIL问题。早期的研究只是将TIL的策略调整为CIL，例如，基于学习新类数据期间的模型参数正则化。其基本思想是估计原始模型中每个参数的重要性，并对一些参数的变化添加更多惩罚，这些参数对先前学习的类至关重要。典型的例子包括弹性权重整合(EWC)方法和记忆感知突触(MAS)。因为旧知识不仅可以在模型参数中表示，还可以在对输入数据的响应中表示。因此，以新的数据类别作为输入，基于旧模型的logit输出和新模型的相应输出部分之间蒸馏损失的知识转移(或蒸馏)策略被应用于CIL。通过模仿旧模型的输出响应，新模型有望在学习新类的过程中保持或获得旧类的知识。蒸馏策略的扩展包括使用特征提取器(例如UCIR)的输出、深度学习模型中的多层特征图(例如PODNet)，甚至通过模型预测的不确定性来转移旧知识。除了参数正则化和知识提炼之外，CIL还提出了其他策略，包括模型组件甚至子网络的扩展，基于生成对抗网络或模型反演生成旧类别的合成数据。

深度学习模型已经证明了它们在特定任务上的人类水平表现。大多数情况下，模型是根据预先收集的训练集进行离线训练的。然而，在实践中，模型可能需要不断更新以学习越来越多的人类知识，例如在自主商店和智能医疗诊断中。在这样的持续学习任务中，当模型更新以学习新知识时，它往往会灾难性地忘记之前学到的旧知识。这是由于众所周知的稳定性-可塑性困境，可塑性是指整合新知识的能力，稳定性是指保留以前的旧知识。在不断学习新知识的过程中更新模型参数时，允许过度的可塑性往往会导致旧知识的严重遗忘，而强制过度的稳定性会阻碍新知识的有效学习。

为了缓解灾难性的遗忘问题，最先进的方法尝试将所有以前学习的旧模型整合到新模型中或为每个保留一小部分以前学过的知识类型的旧数据。然而，集成旧模型会在多轮持续学习中迅速扩大模型规模，限制其使用，尤其是在终端用户设备中。因此，大多数持续学习研究假设模型大小不会大幅增加。基于正则化的方法最初可以很好地保留旧知识，但很快就会很难在模型稳定性和可塑性之间进行权衡。基于知识蒸馏的方法对于旧模型对新类数据的输出响应可能不能很好地代表旧知识，特别是考虑到新类数据的分布往往与旧类不同。对于基于生成对抗网络或模型反演生成旧类别的合成数据的方法，在更多的学习轮次中合成图像的质量逐渐降低，效果不尽人意。实验证明，保留一小部分旧数据已被证明在防止旧知识快速遗忘方面非常有效。存储的旧数据不仅可以用于直接与新数据类别一起训练新模型，还可以更有效地帮助将旧知识从旧模型转移到新模型。现有的知识转移策略包括将卷积神经网络中最后一层、特征提取器或每个卷积块的输出从旧模型提取到新模型，如著名的iCaRL方法和End2End方法所示。然而，这些知识转移策略并没有很好地解决稳定性和可塑性之间的权衡问题，并且不能适应多轮持续学习。