[发明专利]一种权重更新方法、装置、计算机设备和存储介质

说明书

本发明公开了一种权重更新方法、装置、计算机设备和存储介质，通过本发明可根据神经网络的各类训练样本的数量比例计算各类训练样本对应的均衡因子；在一次训练结束后，获取神经网络的输出；根据神经网络的损失函数，计算神经网络的各输出的偏导数；根据各类训练样本对应的均衡因子对各输出的偏导数进行修正得到各输出的修正偏导数；根据链式求导法则、各输出的修正偏导数以及各神经元的输出，对权重进行更新，本实施例中将基于各类训练样本的比例得到的均衡因子用来平衡各类训练样本对训练结果的贡献度，由此，神经网络基于更新后的权重得到的训练结果，越来越接近训练样本数据均衡时的训练结果，有效降低了数据不均衡对训练结果的不利影响。

技术领域

本发明涉及深度学习领域，尤其涉及一种权重更新方法、装置、计算机设备和存储介质。

背景技术

不管是在学术界还是工业界，不平衡学习已经吸引了越来越多的关注，不均衡数据造成的影响通常是发生在分类问题中。例如，现在有一个包含了100行数据的二项分类问题(两类数据)。其中有90行数据代表的是第一类，其余10行代表的是数据第二类。这就是一个不均衡数据(不平衡类数据)，它的第一类数据和第二类数据比是9:1。当处理这个数据集的时候，建立了一个分类模型并且它的精确度达到了90％，但是当继续更深地挖掘数据时会发现这个90％的精确度只是一类数据的精确度。不平衡类问题可能发生在二项分类问题或者多项分类问题中。

对于神经网络而言，在其训练过程中，若是训练样本中各类样本的比例不平衡，往往会导致训练结果的准确性不足，甚至训练失败的后果。目前，对于训练数据不平衡的情况，有些方案会重新设置均衡的训练数据训练神经网络，但是在不能或不方便更改原始的训练数据时，这种方案不能发挥作用。

发明内容

本发明实施例的主要目的在于提供一种权重更新方法、装置、计算机设备和存储介质，通过本发明实施例的实施，可以降低训练数据不均衡对训练效果的影响，提升数据不平衡状态下训练结果的准确性。

为实现上述目的，本发明实施例第一方面提供一种权重更新方法，该权重更新方法包括：

计算神经网络的各类训练样本的数量比例；

根据所述数量比例计算所述各类训练样本对应的均衡因子，所述均衡因子用于平衡所述各类训练样本的数量对所述神经网络的分类结果的影响度；

在一次训练结束后，获取所述神经网络的输出层的输出，其中，一个训练样本对应的所述输出表明所述训练样本为所述各类训练样本的概率，一个训练样本的所述概率之和为1；

根据所述神经网络的损失函数，计算所述神经网络的各输出的偏导数；

根据所述各类训练样本对应的均衡因子对所述各输出的偏导数进行修正得到所述各输出的修正偏导数；

根据链式求导法则、所述各输出的修正偏导数以及所述各神经元的输出，对所述神经网络的输出层和隐藏层的各权重进行更新。

为实现上述目的，本发明实施例第二方面提供一种权重更新装置，该解决数据不均衡的装置包括：

比例计算模块，用于计算神经网络的各类训练样本的数量比例；

均衡因子计算模块，用于根据所述数量比例计算所述各类训练样本对应的均衡因子，所述均衡因子用于平衡所述各类训练样本的数量对所述神经网络的分类结果的影响度；

获取模块，用于在一次训练结束后，获取所述神经网络的输出层的输出，其中，一个训练样本对应的所述输出表明所述训练样本为所述各类训练样本的概率，一个训练样本的所述概率之和为1；

偏导数计算模块，用于根据所述神经网络的损失函数，计算所述神经网络的各输出的偏导数；

修正模块，用于根据所述各类训练样本对应的均衡因子对所述各输出的偏导数进行修正得到所述各输出的修正偏导数；