[发明专利]一种模型训练方法及相关设备

说明书

本申请实施例提供了一种模型训练方法，应用于人工智能领域，方法包括：获取第一神经网络模型以及M批batch训练样本，M为大于1的正整数；根据M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，其中，样本分布特征与基于各批batch训练样本进行增量训练时模型所产生的灾难性遗忘的程度有关，目标增量训练方法用于在对模型进行增量训练时实现抗灾难性遗忘；根据M批batch训练样本，通过目标增量训练方法，对第一神经网络模型进行自监督训练，以得到第二神经网络模型。本申请在降低训练时长并节约数据存储空间的前提下，实现了效率与性能之间的平衡。

技术领域

本申请涉及人工智能领域，尤其涉及一种模型训练方法及相关设备。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

在现有的计算机视觉和自然语言处理任务中，首先利用大数据进行表征学习预训练(pre-train)，再在迁移至特定数据集上进行训练(fine-tune)已经成为通行范式。利用自监督方法进行预训练可以解决表征学习对于人工标注的依赖；然而，目前的自监督学习方法仍然需要将所有的数据进行联合训练(joint training，JT)，使得数据储存和算力成为限制自监督表征学习的突出因素。

增量学习的能力就是能够不断地处理现实世界中连续的信息流，在吸收新知识的同时保留甚至整合、优化旧知识的能力。具体来讲，增量学习(sequential training,ST)是指在连续的数据流中训练模型，随着时间的推移，更多的数据逐渐可用，同时旧数据可能由于存储限制或隐私保护等原因而逐渐不可用，并且学习任务的类型和数量没有预定义(例如分类任务中的类别数)。相比于联合训练，增量训练可显著节约计算和存储资源，但是可能由于灾难性遗忘而导致模型性能下降。

发明内容

第一方面，本申请提供了一种模型训练方法，所述方法包括：

获取第一神经网络模型以及M批batch训练样本，所述M为大于1的正整数；

其中，所述第一神经网络模型可以为预训练模型或者对所述预训练模型进行微调后得到的；

其中，M批batch训练样本中的每批batch训练样本用于作为对第一神经网络进行一批batch模型训练所需的训练样本，进而M批batch训练样本用于作为对第一神经网络进行M批batch模型训练所需的训练样本；

其中，M批batch训练样本可以为图像数据、文本数据或者音频数据，这里并不限定；

根据所述M批batch训练样本中各批batch训练样本之间的样本分布特征，确定目标增量训练方法，其中，所述样本分布特征与基于所述各批batch训练样本进行增量训练时模型所产生的灾难性遗忘的程度有关，所述目标增量训练方法用于在对模型进行增量训练时实现抗灾难性遗忘；

灾难性遗忘可以指模型学习了新的知识之后，会遗忘掉之前习得的知识。在一个已经训练好的模型中，训练新的任务，之后测试旧的任务，旧任务的准确率会比学习新任务前降低很多。随着任务数量的增加，旧任务的准确率会逐渐降低，即遗忘现象。所以，需要尽可能地在原有模型的基础上，以尽可能小的代价与成本解决灾难性遗忘问题；

其中，各批batch训练样本之间的样本分布特征可以包括样本增量、随机类别增量、语义差异类别增量和风格转变；

根据所述M批batch训练样本，通过所述目标增量训练方法，对所述第一神经网络模型进行自监督训练，以得到第二神经网络模型。