[发明专利]一种蒸馏式竞争学习的目标分类系统和方法

权利要求书

1.一种蒸馏式竞争学习的目标分类系统，其特征在于：该系统包括输入模块、神经网络1、神经网络2、第一softmax模块、第一加权平均模块、loss1模块、第二softmax模块、第二加权平均模块、loss2模块、独热编码模块；样本经输入模块分别进入神经网络1、神经网络2，神经网络1的输出送至第一softmax模块，第一softmax模块的输出一路送至第一加权平均模块、一路送至loss1模块，神经网络2的输出送至第二softmax模块，第二softmax模块的输出一路送至第二加权平均模块、一路送至loss2模块，独热编码模块的输出分别送至第一加权平均模块、第二加权平均模块，第一加权平均模块的输出送至loss2模块，第二加权平均模块的输出送至loss1模块。

2.一种蒸馏式竞争学习的目标分类方法，其特征在于，该方法步骤如下：

步骤1、网络模型设计：设计或选择两个神经网络模型；

步骤2、损失函数设计：设计蒸馏式竞争损失函数；

步骤3、预训练：前若干训练周期，利用独热编码训练神经网络，使神经网络快速收敛；

步骤4、新标签获取：首先，将当前批次样本送入两个神经网络得到两种预测结果；然后，将两种预测结果分别与独热编码标签加权平均，得到两个神经网络的新标签；

步骤5、训练：利用当前批次获取的新标签和损失函数对神经网络模型进行训练；

步骤6、迭代训练：重复步骤4-步骤5，直到训练结束；

步骤7、测试：利用训练好的神经网络对测试样本进行测试。

3.根据权利要求2所述的方法，其特征在于，步骤1具体为：两个神经网络相互竞争学习，每次迭代训练后，试图让自己的预测结果比对方更接近样本标签；神经网络1和神经网络2均采用ResNet50；分别在cifar-10和cifar-100数据集上验证方法效果。

4.根据权利要求2所述的方法，其特征在于，步骤2具体为：蒸馏式竞争损失函数采用交叉熵损失函数，不同之处在于神经网络的标签和的构建；神经网络1和神经网络2的损失函数分别为：

（1）

（2）

其中，为总类别数，为神经网络1标签中第类的标注概率，为神经网络1的预测结果中第类的预测概率，为神经网络2标签中第类的标注概率，为神经网络2的预测结果中第类的预测概率。

5.根据权利要求2所述的方法，其特征在于，步骤3具体为：前n个训练周期，利用独热编码训练神经网络，即，和，使神经网络快速收敛。

6.根据权利要求2所述的方法，其特征在于，步骤4具体为：从cifar-10或cifar-100训练集中取出一个批次样本，样本经过神经网络1，并用softmax函数运算后得到的预测结果为y_net1，样本经过神经网络2，并用softmax函数运算后的预测结果为y_net2，样本的独热编码标签为t_one-hot；则神经网络1和神经网络2的标签为：

（3）

（4）

其中，为权重因子。

7.根据权利要求2所述的方法，其特征在于，步骤5具体为：利用获取的新标签和损失函数对神经网络模型进行训练；训练中，采用随机水平翻转做数据增广，并对图像进行减均值除方差标准化；采用梯度下降法训练神经网络，批大小设置为64；模型总共训练100个周期；初始学习率设置为0.1，采用学习率余弦退火衰减策略；所有训练过程中权值衰减设为0.0005，动量设为0.9。