[发明专利]一种神经网络增强方法、系统及其应用

权利要求书

1.一种神经网络增强方法，其特征在于，包括步骤：

将给定的神经网络模型划分成若干个子神经网络，每个子神经网络中均包括部分所述神经网络模型的参数量；

对每个子神经网络进行初始化处理，使每个子神经网络的初始化参数各不相同；

应用不同的数据增强方法对每个子神经网络进行训练，使每个子神经网络学到关于相同数据的不同知识；

将每个子神经网络在训练过程中的输出分别与真实标签计算交叉熵损失函数，同时计算每个子神经网络的输出之间的协同训练损失函数，将计算得到的交叉熵损失函数以及协同训练损失函数按一定比例结合作为优化目标函数；

根据所述优化目标函数更新每个子神经网络的权重参数，达到预设训练次数后结束训练，得到训练好的子神经网络。

2.根据权利要求1所述的神经网络增强方法，其特征在于，所述将给定的神经网络模型划分成若干个子神经网络的步骤包括：

根据所述神经网络模型的参数量或者浮点运算数对所述神经网络模型进行划分，得到若干个子神经网络。

3.根据权利要求2所述的神经网络增强方法，其特征在于，所述参数量的计算公示为：所述浮点运算数的计算公式为：其中，K×K为卷积核大小，C_in为输入的特征图的通道数目，C_out为输出的特征图的通道数目，d为卷积组数，H×W是输出特征图的宽高乘积。

4.根据权利要求1所述的神经网络增强方法，其特征在于，所述应用不同的数据增强方法对每个子神经网络进行训练，使每个子神经网络学到关于相同数据的不同知识的步骤包括：

将多种不同的数据转换方法组合作为数据增强方法；

采用数据增强方法对训练图片进行转换，采用转换的训练图片对每个子神经网络进行训练，使得每个子神经网络学到关于相同数据的不同知识。

5.根据权利要求4所述的神经网络增强方法，其特征在于，所述将每个子神经网络在训练过程中的输出分别与真实标签计算交叉熵损失函数的步骤包括：

对于训练图片，所述子神经网络{M₁，M₂，...，M_S}对应的输出概率分布为{p₁，p₂，...，p_S}，计算每个子神经网络的输出的交叉熵损失函数为：其中，代表交叉熵损失函数，p是某个子神经网络对于图片属于哪个类别给出的预测概率，y是图片所属真实类别的标签，N代表图片的数目，C代表总的物体类别。

6.根据权利要求5所述的神经网络增强方法，其特征在于，所述计算每个子神经网络的输出之间的协同训练损失函数的步骤包括：

在每个子神经网络之间引入协同训练损失函数使得各个子神经网络的输出一致，所述协同训练损失函数为：

其中，代表协同训练损失函数，p_i是子神经网络M_i的预测概率，H(p)＝-plog(p)是概率分布p的香农熵，S代表分割神经网络模型M后得到的子神经网络的数目。

7.根据权利要求6所述的神经网络增强方法，其特征在于，将计算得到的交叉熵损失函数以及协同训练损失函数按一定比例结合作为优化目标函数的步骤包括：

将每个子神经网络的交叉熵损失函数和子神经网络输出之间的协同训练损失函数进行有机结合，得到的优化目标函数为：此处，是训练系统总的优化目标函数，代表小网络的分类交叉熵损失函数，代表协同训练损失函数，S表示神经网络的数目，p_i是小的神经网络M_i的预测概率，y是图片所属真实类别的标签，λ_cot是协同训练损失函数的权重因子。

8.一种神经网络增强系统，其特征在于，采用权利要求1-7任一所述的神经网络增强方法制得。

9.一种神经网络增强系统的应用，将权利要求8所述神经网络增强系统用于图像分类。

10.根据权利要求9所述神经网络增强系统的应用，其特征在于，包括步骤：

将待分类图像输入到训练好的子神经网络，输出综合预测图像分类结果为：其中，p_avg是多个子神经网络的综合预测图像分类结果，S表示子神经网络的数目，p_i是子神经网络M_i的预测概率。