[发明专利]高自由度类不平衡性损失函数的调整方法和存储介质

说明书

本发明公开了一种高自由度类不平衡性损失函数的调整方法和存储介质，包括：采用标准交叉熵损失函数来对训练网络进行训练；根据收敛后的所述训练网络计算所述标准交叉熵损失函数的梯度模长；根据所述梯度模长来选择梯度均衡损失函数或者自适应调整权重损失函数；其中，所述梯度均衡损失函数用于均衡batch数据内落入所述梯度模长中每个区间的数量；所述自适应调整权重损失函数用于使每个所述batch数据自适应调整权重。本发明实施例可以根据数据集的特点自适应选取损失函数，然后在网络训练过程中再次自适应调整权重来充分学习图像特征，尤其是学习难度较大的样本，能够在充分利用有限数据资源的前提下有效解决类别不平衡问题。

技术领域

本发明涉及神经网络技术领域，特别涉及一种高自由度类不平衡性损失函数的调整方法和存储介质。

背景技术

对于分类任务来说，通常会有不同类别的训练样例数目差别很大的情况，若同源样本较少，异源样本较多，全部拿来作训练集会使网络对异源图像对敏感，弱化同源图像对的学习能力。

对于上述情况，现有解决该问题的方法主要有以下几种：

欠采样方法：去除部分训练集中的类别较多的样本，使正负样本数目接近，然后再进行网络训练或学习。典型的欠采样方法有EasyEnsemble和BalanceCascade两种。一般来讲，欠采样方法会丢失部分有用信息。

过采样方法：通过复制或数据扩充技术增加少数样本使得正负样本间数目接近，然后再进行网络训练或学习。典型的过采样方法是SMOTE算法，通过合成少数样本来达到正负样本均衡的目的。该方法会造成训练复杂度增大，也容易造成过拟合问题，不利于学习器的泛化能力。

代价敏感学习法：考虑到不同的错误分类造成的结果不同，为了权衡不同结果产生的不同损失，将错误分类赋予非均等代价。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种高自由度类不平衡性损失函数的调整方法和存储介质，能够在充分利用有限数据资源的前提下有效解决类别不平衡问题。

根据本发明的第一方面实施例的高自由度类不平衡性损失函数的调整方法，包括：

采用标准交叉熵损失函数来对训练网络进行训练；

根据收敛后的所述训练网络计算所述标准交叉熵损失函数的梯度模长；

根据所述梯度模长来选择梯度均衡损失函数或者自适应调整权重损失函数；其中，所述梯度均衡损失函数用于均衡batch数据内落入所述梯度模长中每个区间的数量；所述自适应调整权重损失函数用于使每个所述batch数据自适应调整权重。

根据本发明实施例的高自由度类不平衡性损失函数的调整方法，至少具有如下有益效果：本发明实施例首先计算标准交叉熵损失函数的梯度模长，然后根据梯度模长的特点也就是本身数据集的特点自适应选取不同的损失函数，如选择梯度均衡损失函数或者自适应调整权重损失函数。因此，本发明实施例可以根据数据集的特点自适应选取损失函数，然后在网络训练过程中再次自适应调整权重来充分学习图像特征，尤其是学习难度较大的样本，能够在充分利用有限数据资源的前提下有效解决类别不平衡问题。

根据本发明的一些实施例，所述计算所述标准交叉熵损失函数的梯度模长，包括：

对所述标准交叉熵损失函数进行一阶求导，以得到梯度模长。

根据本发明的一些实施例，其特征在于，所述标准交叉熵损失函数为：

其中，所述L_ce为所述标准交叉熵损失函数，所述y为样本的真实标签，所述y∈{0,1}，所述为预测样本为同源样本对的概率，所述

根据本发明的一些实施例，所述梯度模长通过如下公式得到：