[发明专利]一种适于多任务迭代学习记忆的遥感图像分类方法

说明书

本发明公开了一种适于多任务迭代学习记忆的遥感图像分类方法，包括：初始化模型分类器之前的参数、固定权重、临时权重，利用参数权重预测性能；利用第一个任务的训练数据计算模型中每个参数的敏感性；当模型学习新的任务时，使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数；在分类器中拓展新的神经元用于学习新任务中的新的类，重新初始化分类器的临时权重，学习得到分类器的临时权重，利用参数权重预测性能；利用新任务的训练数据计算模型中每个参数的敏感性矩阵，计算作为下一个任务训练的损失函数中添加的参数的敏感性矩阵；每当进来一个新任务对其进行训练时，重复步骤；使用训练好的模型分类器对遥感图像进行分类。

技术领域

本发明涉及遥感图像处理与识别技术领域，尤其涉及一种适于多任务迭代学习记忆的遥感图像分类方法。

背景技术

在当前大数据和人工智能快速发展的时代，在面临不断更新迭代的海量数据时，深度学习模型也需要不断的进行学习和更新，不断的调整模型以满足当前人们的需求。然而，现有的深度学习模型一旦在特定的任务上训练完成后，该模型就只能用于该项任务的预测，一旦模型继续学习新的任务，就会在之前已经学习过的任务上出现灾难性遗忘的现象,即模型无法保持在旧任务上的性能。而每次都将所有的数据混合在一起重新对模型进行训练的方式不仅浪费了存储空间，而且也将消耗大量的时间来训练模型，大大降低了深度学习算法的实用化和商业化的可能性。因此，灾难性遗忘问题严重影响了深度学习模型在持续学习多个任务时的性能。

为了减轻深度学习模型中存在的灾难性遗忘问题，过去的一些研究主要可以分为三大类：1）基于正则化的连续学习方法；2）基于结构化的连续学习方法；3）基于预排练的连续学习方法。其中，基于正则化的连续学习方法包括弹性权重巩固EWC、记忆感知突触MAS等方法，通过约束对旧任务重要参数的更新来减轻模型对旧任务的灾难性遗忘，然而，随着学习的新任务数量的增加，重要参数的累积误差增加，模型无法找到满足所有任务的公共解空间，因而造成模型克服灾难性遗忘的能力下降；基于结构化的连续学习方法例如CWR，通过冻结一部分神经元结构来保护模型在旧任务上的性能，但是这种方法丧失了学习新任务时对网络结构调整的灵活性；基于预排练的连续学习方法认为，不定期的让模型见到一些旧任务的样本有助于唤醒模型对旧任务的性能，例如在iCARL方法中，使用了一个范例集来存储旧任务的典型的部分样本数据。基于预排练的方法不仅能够有效地控制灾难性遗忘，而且还能提高模型在旧任务上的准确性，但该方法需要存储旧任务的历史数据。当前克服灾难性遗忘的方法存在以上弊端，因此，需要一种更加精确、实用、可靠、有效的方法来解决深度学习模型中灾难性遗忘的问题，进而适于多任务迭代学习记忆的遥感图像分类方法。

发明内容

有鉴于此，本发明的目的在于提供一种适于多任务迭代学习记忆的遥感图像分类方法，所述方法基于参数敏感性与结构化相结合，能够有效的克服深度学习模型中存在的灾难性遗忘的问题，适于解决多任务迭代学习记忆的遥感图像分类问题。

本发明的目的是这样实现的，一种适于多任务迭代学习记忆的遥感图像分类方法，包括以下步骤：

步骤1，初始化模型分类器之前的参数、分类器的固定权重以及分类器的临时权重，使用随机梯度下降训练第一个任务，学习得到和，将分类器的临时权重赋值给固定权重，利用和预测性能；

步骤2，利用第一个任务的训练数据计算模型中每个参数的敏感性，得到参数的敏感性矩阵；

步骤3，当模型学习新的任务时，将参数的敏感性矩阵作为一个正则项添加到模型原有的损失函数中，然后使用修改后的损失函数对模型进行训练，学习得到分类器之前的参数；

步骤4，在分类器中拓展新的神经元用于学习新任务中的新的类，重新初始化分类器的临时权重，使用随机梯度下降训练模型，学习得到分类器的临时权重，将分类器的临时权重赋值给固定权重，利用和预测性能；