[发明专利]一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质

说明书

本发明公开了一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质。该方法包括：获取图像的训练集和测试集，并对训练集和测试集的图像分别进行类别标注；对所有图像进行预处理操作；将预处理后的图片批量送入一个神经网络，进行迭代训练，得到训练好的教师模型T；将预处理后的图片同时批量送入每个学生模型和教师模型T中，进行学生的合作蒸馏训练，得到合作蒸馏模型，其中每个学生模型为具有相同网络结构的神经网络，模型参数量小于教师模型T；将测试集输入合作蒸馏模型对图片进行分类。本发明提出的方法相比原始的方法在图像分类算法中的分类效果提升了3.6％。

技术领域

本发明实施例涉及计算机视觉领域，特别涉及一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质。

背景技术

随着信息技术的高速发展，深度学习技术在图像分类任务上的性能已经远远超越了传统的图像识别方法。深度学习将输入的图像通过一些简单的非线性的模型转变成为更加抽象的表达，所提取到的特征更加接近图像的高级语义信息。

深度卷积神经网络(Convolutional Neural Network，CNN)是特别设计用于识别图像的多层感知器。CNN的权重共享网络结构与生物神经网络类似，通过对图像进行多次的卷积核池化操作，逐渐提取到图像的高层表达，再使用神经网络对特征进行分类，以此来实现对图像分类的功能。因此CNN在图像分类领域表现出极大的优势。

然而，CNN的强大的表达能力是以内存和其他资源的消耗为代价的。大量的神经网络权重会消耗大量的内存和存储器带宽，阻碍其在图像分类任务中的应用。在资源受限的场合下，CNN的模型大小受到限制，对应地，CNN对图像分类的性能将会下降。

发明内容

为了解决上述问题，本发明实施例提供了一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质。在同一个教师的监督下，通过同时训练多个具有相同结构且模型内存占据较小的学生网络，使学生之间能够实现信息的交流，最大程度地增大每个学生所获取到的信息量，以此提高学生网络的性能，从而使得CNN模型在大小受到限制的情况下，仍能有高效的图像表达能力。

本发明的目的可以通过以下的技术方法实现：

第一方面，本发明实施例提供一种基于多学生合作蒸馏的高效图像分类方法，包括以下步骤：

获取图像的训练集和测试集，并对训练集和测试集的图像分别进行类别标注；

对所有图像进行预处理操作；

将预处理后的图片批量送入一个神经网络，进行迭代训练，得到训练好的教师模型T；

将预处理后的图片同时批量送入每个学生模型和教师模型T中，进行学生的合作蒸馏训练，得到合作蒸馏模型，其中每个学生模型为具有相同网络结构的神经网络，模型参数量小于教师模型T；

将测试集输入合作蒸馏模型对图片进行分类。

进一步的，所述对所有图像进行预处理操作中，对训练集图片的预处理操作为，首先以50％的概率将该图片进行水平翻转，然后以50％的概率将该图片顺时针旋转，最后进行训练图片的归一化，将每一张图片的像素都减去全部训练集图像的像素均值，然后将每一张图片的像素都除以全部训练集图像的像素的标准差。

进一步的，所述对所有图像进行预处理操作中，对测试集图片的预处理操作为，进行训练图片的归一化，将每一张图片的像素都减去全部训练集图像的像素均值，然后将每一张图片的像素都除以全部训练集图像的像素的标准差。

进一步的，所述合作蒸馏训练，包括：

(4.1)每次迭代训练中，首先将所有学生模型加入到学生模型集合{_i,＝1,2,…,}中；计算教师模型T的输出概率与每个学生模型的输出概率之间的KL散度，并按照KL散度的大小，对学生模型集合{_i}进行降序排序；