[发明专利]基于样本剔除的模型训练方法及设备

说明书

本发明的目的是提供一种基于样本剔除的模型训练方法及设备，本发明通过在原始训练集中剔除容易样本，原始训练集中的容易样本剔除后，原始训练集中剩余的样本为困难样本，将困难样本作为新的训练集，使用所述新的训练集对所述模型进行的新的一轮迭代训练，直至模型收敛。本发明通过剔除容易样本，在模型训练后期增大了困难样本在训练集中所占比例，是对训练集中的样本分布的动态调整，从而加强模型对困难样本的学习。实验表明，该方法能够提升模型在训练集与测试集上的性能。

技术领域

本发明涉及计算机领域，尤其涉及一种基于样本剔除的模型训练方法及设备。

背景技术

在深度学习领域中，训练集所使用的样本分布直接影响了模型训练的过程，从而决定了深度学习模型的好坏。使用一个分布均衡的训练集进行训练，通常可以使模型具有更好的预测性能与泛化能力。

传统的深度学习模型训练方法通常使用固定的训练集进行训练，这样的训练方式往往会使模型更加稳定。但是当训练集中出现样本分布不均衡等问题时，模型在各个类型样本上的表现往往不同。存在某些模式的样本更容易被模型学习，而另一些模式的样本不易学习。因此模型在不同类型的样本上的收敛速度是不同的。当训练集样本固定时，各类型样本在训练集中所占比例固定不变。当模型在易学习样本上已经收敛时，继续使用易学样本对模型进行训练会干扰模型对困难样本的学习，从而导致模型整体性能的提升到达瓶颈。如果能够动态改变训练集的样本分布，在模型训练的不同时期加强模型对不同类型样本的学习，则可以大大优化模型的性能。

视频预测类任务不同于一般的判别类任务，无法根据简单的准确率等方式确定容易样本与困难样本。因此若想在视频预测类任务上进行样本遗忘实验，必须先制定判定难易样本的标准。在模型的训练过程中，损失函数直接决定了模型学习的方向。因此需要先对不同样本对应损失函数的数值进行深入的分析，确定划分难易样本的阈值，再进行样本剔除实验。

发明内容

本发明的一个目的是提供一种基于样本剔除的模型训练方法及设备。

根据本发明的一个方面，提供了一种基于样本剔除的模型训练方法及设备，该方法包括：

使用原始训练集中的样本对模型进行一轮迭代训练直至模型收敛，其中，每一轮迭代训练包括多次迭代训练；同时在当前轮的迭代训练的各次迭代训练阶段获取所述原始训练集中所有样本的损失值，并对原始训练集中所有样本的损失值进行统计学分析，得到统计学分析结果；

基于所述统计学分析结果，确定所述原始训练集中的样本的各类型的损失对应的损失值的容易样本阈值范围；

使用原始训练集对所述模型进行的新的一轮迭代训练，在当前轮的迭代训练中，判断所述原始训练集中的每个样本的各类型的损失的对应的损失值是否在相应的容易样本阈值范围之内，以得到所述原始训练集中容易样本，将容易样本从所述原始训练集中剔除，将原始训练集中剩余的样本作为新的训练集；

使用新的训练集对所述模型进行的当前轮迭代训练的后续的迭代训练，直至模型收敛。

进一步的，上述方法中，对原始训练集中所有样本的损失值进行统计学分析，得到统计学分析结果，包括：

对原始训练集中所有样本的损失值进行统计学分析，得到所有样本的损失值的取值范围，基于模型训练目标和所有样本的损失值的取值范围，初步筛选一个或多个类型的损失；

基于所有样本的损失值的取值范围，分析在当前轮的迭代训练的各次迭代训练阶段中损失值的分布的变化情况，基于所述变化情况确定原始训练集中所有样本的整体损失值收敛的训练迭代次数的次数阈值N，N大于等于1；

若初步筛选损失的类型为多个，分析不同类型的损失之间的相关性，基于所述相关性从所述初步筛选损失的类型中进一步筛选出最终的一个或多个类型的损失。