[发明专利]一种蒸馏式竞争学习的目标分类系统和方法

说明书

本发明针对现有目标分类方法存在的样本错误标记、类别模糊、人为知识干预带来的训练难题，提供一种蒸馏式竞争学习的目标分类系统和方法，可以显著提高基于深度学习的目标识别准确率，为基于深度学习的目标分类领域提供核心技术支撑。

技术领域

本发明属于信号与信息处理领域技术领域，具体涉及一种目标分类系统和方法。

背景技术

目标分类是诸多领域，如计算机视觉、自然语音处理等，最基础和最重要的研究方向之一。在民事上，其广泛应用于自动驾驶、安防、医学等领域。在军事上，其广泛应用于目标侦查、精确制导、远程监视等领域。近年，随着高速运算硬件、大数据以及深度学习技术的快速发展，目标分类技术迈上了一个新台阶。基于深度学习的目标分类准确率大幅超过传统方法，并在多个数据集上达到了超越人类水平的识别性能。

然而，基于深度学习的目标分类仍面临以下问题：

1）错误标注：深度学习依赖大量高质量的标注数据，很多领域的样本从搜索引擎或者开源数据集获取，这些数据存在标注质量不高，误标记较多的问题。

2）模糊类别：比如图像识别中，狮子和猫之间存在类别模糊的问题，使用传统的独热编码（one-hot）标签学习可能导致模型过拟合，降低泛化性能。

3）人为知识：样本的独热编码标签是人为标记的，不能保证人为设计的标签最适合神经网络学习。

发明内容

本发明针对上述问题，提出一种蒸馏式竞争学习的目标分类系统和方法。包含两个神经网络，每个神经网络的预测结果与独热编码（one-hot）标签进行加权平均作为新的标签知识，对另一个神经网络进行知识蒸馏，使得神经网络相互学习的同时，相互竞争实现比对方更优的结果。不让人为标记的独热编码（one-hot）标签直接参与神经网络学习，使网络有足够的空间进行自我调整，一定程度上解决了错误标注、类别模糊带来的训练难题。蒸馏式竞争学习框图如图1所示。

本发明目的在于实现一种蒸馏式竞争学习的目标分类系统和方法。针对现有目标分类方法存在的样本错误标记、类别模糊、人为知识干预带来的训练难题，提供一种蒸馏式竞争学习的目标分类系统和方法，可以显著提高基于深度学习的目标识别准确率，为基于深度学习的目标分类领域提供核心技术支撑。

一种蒸馏式竞争学习的目标分类系统，包括输入模块、神经网络1、神经网络2、第一softmax模块、第一加权平均模块、loss1模块、第二softmax模块、第二加权平均模块、loss2模块、独热编码模块。样本经输入模块分别进入神经网络1、神经网络2，神经网络1的输出送至第一softmax模块，第一softmax模块的输出一路送至第一加权平均模块、一路送至loss1模块，神经网络2的输出送至第二softmax模块，第二softmax模块的输出一路送至第二加权平均模块、一路送至loss2模块，独热编码模块的输出分别送至第一加权平均模块、第二加权平均模块，第一加权平均模块的输出送至loss2模块，第二加权平均模块的输出送至loss1模块。

一种蒸馏式竞争学习的目标分类方法，该方法包括如下步骤：

步骤1、网络模型设计：设计或选择两个神经网络模型；

蒸馏式竞争学习框图如图1所示，两个神经网络相互竞争学习，每次迭代训练后，试图让自己的预测结果比对方更接近样本标签。神经网络1和神经网络2均采用ResNet50。分别在cifar-10和cifar-100数据集上验证方法效果。因为cifar-10和cifar-100数据集分别含有10和100个类别目标，因此两组实验中，ResNet50的输出维数分别为10和100。

步骤2、损失函数设计：设计蒸馏式竞争损失函数；

蒸馏式竞争损失函数采用交叉熵损失函数，不同之处在于神经网络的标签和的构建。神经网络1和神经网络2的损失函数分别为：

（1）

（2）