[发明专利]一种基于参数重要性克服灾难性遗忘的方法

摘要

本发明公开了一种基于参数重要性克服灾难性遗忘的方法，首先训练完第一个任务后，使用第一个任务的测试数据对模型的性能进行测试，然后使用第一个任务的训练数据，利用本发明提出的计算参数重要性的方法计算网络模型中每个参数对于该任务的重要性；然后将本发明提出的方法作为一个正则项添加到模型中的损失函数，训练完成后分别使用当前任务及之前所有任务的测试数据对该模型的性能进行测试；之后再使用新任务的训练数据按照本发明提出的方法计算参数重要性，并与之前计算的参数重要性矩阵进行累加；最后每当进来一个新任务对其进行训练时，重复以上步骤即可。实验证明，本发明提出的方法能够有效减轻深度学习模型中灾难性遗忘的问题。

主权项

1.一种基于参数重要性克服灾难性遗忘的方法，其特征在于，包括如下步骤：(1)深度学习模型在第一个任务上训练完成后，使用第一个任务的测试数据对模型的性能进行测试，然后使用当前任务的训练数据计算网络模型中每个参数θ_ij对于该任务的重要性Ω_ij；(2)当模型训练第二个任务时，对模型中原有的loss function进行修改，增加一个正则项，然后以修改后的loss function进行训练，分别使用当前任务及之前所有任务的测试数据对该模型的性能进行测试；(3)模型训练完第二个任务后，使用当前任务的训练数据计算网络模型中每个参数θ_ij对于该任务的重要性Ω_ij，并将当前任务的重要性矩阵与之前任务的重要性矩阵进行累加，得到累加之后的参数重要性矩阵Ω，作为下一个任务训练的loss function中的参数重要性矩阵；(4)每当进来一个新任务对其进行训练时，重复步骤(2)和步骤(3)。