[发明专利]用于增量学习的模型训练方法、装置、介质与电子设备

说明书

本公开提供一种用于增量学习的模型训练方法、装置、介质与电子设备，涉及人工智能与计算机技术领域。该方法包括：获取第一模型；所述第一模型是利用第一数据集训练基础模型而得到的；利用第二数据集训练所述第一模型，得到第二模型；获取所述第一数据集中的m个数据组，确定所述第二模型在每个所述数据组上的第二损失函数值；m为不小于2的正整数；根据所述第二模型在每个所述数据组上的第二损失函数值，从所述m个数据组中选取一个或多个待回放数据组；利用所述第二数据集和所述待回放数据组训练所述第一模型，得到第三模型。本公开有效实现了增量学习，降低了模型训练过程的开销以及对计算机资源的占用，有利于控制硬件成本。

技术领域

本公开涉及人工智能与计算机技术领域，尤其涉及一种用于增量学习的模型训练方法、用于增量学习的模型训练装置、计算机可读存储介质与电子设备。

背景技术

机器学习模型在旧数据集上训练完成后再到新数据集上训练，往往会导致在旧数据集上的准确度下降。

为了解决上述问题，相关技术中，将新数据集与旧数据集混合后对模型进行训练。然而，由于增加了样本的数据量，导致模型训练过程需要占用更多的计算机资源，硬件成本升高。

发明内容

本公开提供一种用于增量学习的模型训练方法、用于增量学习的模型训练装置、计算机可读存储介质与电子设备，以至少在一定程度上解决相关技术中模型训练过程占用较多计算机资源的问题。

根据本公开的第一方面，提供一种用于增量学习的模型训练方法，包括：获取第一模型；所述第一模型是利用第一数据集训练基础模型而得到的；利用第二数据集训练所述第一模型，得到第二模型；获取所述第一数据集中的m个数据组，确定所述第二模型在每个所述数据组上的第二损失函数值；m为不小于2的正整数；根据所述第二模型在每个所述数据组上的第二损失函数值，从所述m个数据组中选取一个或多个待回放数据组；利用所述第二数据集和所述待回放数据组训练所述第一模型，得到第三模型。

根据本公开的第二方面，提供一种用于增量学习的模型训练装置，包括：模型获取模块，被配置为获取第一模型；所述第一模型是利用第一数据集训练基础模型而得到的；第一训练模块，被配置为利用第二数据集训练所述第一模型，得到第二模型；损失函数值确定模块，被配置为获取所述第一数据集中的m个数据组，确定所述第二模型在每个所述数据组上的第二损失函数值；m为不小于2的正整数；待回放数据组选取模块，被配置为根据所述第二模型在每个所述数据组上的第二损失函数值，从所述m个数据组中选取一个或多个待回放数据组；第二训练模块，被配置为利用所述第二数据集和所述待回放数据组训练所述第一模型，得到第三模型。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的模型训练方法及其可能的实现方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的模型训练方法及其可能的实现方式。

本公开的技术方案具有以下有益效果：

一方面，提供了一种能够实现增量学习的方案，利用第二数据集和第一数据集中的待回放数据组训练第一模型，使得第一模型在学习第二数据集的信息的同时，不会遗忘第一数据集的信息，保证训练出的第三模型能够在第一数据集和第二数据集上均达到较为理想的准确度，有效实现增量学习的训练目标。另一方面，在训练第一模型以得到第三模型的过程中，使用第二数据集和待回放数据组，而不使用整个第一数据集，由此减少了样本的数据量，降低了模型训练过程的开销以及对计算机资源的占用，有利于控制硬件成本。再一方面，本方案对于模型的类型、任务等无限制，通用性较高，能够适用于机器学习相关的任何场景。

附图说明

图1示出本示例性实施方式中一种用于增量学习的模型训练方法的流程图；