[发明专利]一种模型训练方法及相关设备

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

获取第一神经网络模型以及M批batch训练样本，所述M为大于1的正整数；

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，其中，所述样本分布特征与基于所述各批batch训练样本进行增量训练时模型所产生的灾难性遗忘的程度有关，所述目标增量训练方法用于在对模型进行增量训练时实现抗灾难性遗忘；

根据所述M批batch训练样本，通过所述目标增量训练方法，对所述第一神经网络模型进行自监督训练，以得到第二神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述产生的灾难性遗忘的程度越大，所述目标增量训练方法在进行模型的增量训练时实现的抗灾难性遗忘的作用程度越大。

3.根据权利要求1或2所述的方法，其特征在于，所述目标增量训练方法包括如下的至少一种：

基础增量训练、基于参数正则化的增量训练、基于训练样本回放的增量训练；

其中，所述基础增量训练表示依次采用所述M批batch训练样本中的各批batch训练样本，来进行自监督训练；

所述基于参数正则化的增量训练表示在进行所述自监督训练时，所述自监督训练的损失函数包括正则化约束；

所述基于训练样本回放的增量训练表示在进行所述自监督训练时，各批batch模型训练所采用的训练样本包括相邻上一批batch模型训练所采用的训练样本中的部分训练样本。

4.根据权利要求3所述的方法，其特征在于，所述根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，包括：

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征满足第一预设条件，确定所述目标增量训练方法为所述基础增量训练，且在通过所述目标增量训练方法，对所述第一神经网络模型进行自监督训练时，所述自监督训练的损失函数不包括正则化约束；其中，所述第一预设条件包括：各批batch训练样本包括的训练样本的类别相同。

5.根据权利要求3所述的方法，其特征在于，所述根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，包括：

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征满足第二预设条件，确定所述目标增量训练方法为所述基础增量训练，且在通过所述目标增量训练方法，对所述第一神经网络模型进行自监督训练时，所述自监督训练的损失函数不包括正则化约束，所述第二预设条件包括：各批batch训练样本包括的训练样本的语义相同且类别不同。

6.根据权利要求3所述的方法，其特征在于，所述根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，包括：

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征满足第三预设条件，确定所述目标增量训练方法为所述基础增量训练和所述基于参数正则化的增量训练，所述第三预设条件包括：各批batch训练样本包括的训练样本的语义不同。

7.根据权利要求3所述的方法，其特征在于，所述根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，包括：

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征满足第四预设条件，确定所述目标增量训练方法为所述基础增量训练和所述基于训练样本回放的增量训练，所述第四预设条件包括：各批batch训练样本包括的训练样本所来自的领域不同。

8.根据权利要求1至7任一所述的方法，其特征在于，所述第一神经网络模型为预训练模型或者对所述预训练模型进行微调后得到的。