[发明专利]一种基于向量标准化和知识蒸馏的图像分类方法

说明书

本发明公开了一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；(2)构建一个比教师模型小的学生模型，所述学生模型也采用深度卷积神经网络；(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；(4)将待分类的图像输入训练好的学生模型，进行分类预测。利用本发明，能够在不引入额外参数及计算开销的情况下，提升学生网络的性能，提高图像分类精度。

技术领域

本发明属于图像分类技术领域，尤其是涉及一种基于向量标准化和知识蒸馏的图像分类方法。

背景技术

随着人工智能时代的到来，深度学习技术已被广泛应用于多种图像分类领域：如人脸识别，自动驾驶，故障检测等。

模型压缩是当前深度学习模型部署最为热门的问题之一。它要求模型在参数变少的情况下，仍保持一定的精度。目前，最热门的方法包括参数量化，模型剪枝，知识蒸馏等。其中，知识蒸馏的方法效果较好，得到了广泛的重视。

在知识蒸馏中，一个较大的模型(教师)将知识传递到一个较小的模型(学生)上。在一些数据集上，知识蒸馏能够大大提升学生网络的性能。而无人驾驶汽车在部署视觉应用时，对模型响应延时，以及计算资源具有较高的要求。

视觉模型主要由深度卷积网络组成。图像矩阵从网络的输入端输入后，在输出端输出目标分属各个类别的概率值。其中，最大的概率值所对应的类别，被视为模型的预测类别。而在那些错误的类别上，模型仍会赋予不同大小的概率。这些概率被认为编码了类别间相似度的信息。如，一只猫除了在猫的类别上赋予最大的概率值之外，还会对一些相似的类别(如狗)赋予比相差较大的类别(如汽车)更大的概率值。知识蒸馏，就是利用这样的相似度信息，利用一个较大的模型，将这种知识传递到一个较小的模型上。

然而，知识蒸馏面临被称为“容量差距”的问题。这描述了蒸馏过程中出现的一个问题，如果教师网络变得过大，学生网络的性能反而会下降。这导致在进行蒸馏时，存在需要手动选择合适大小的教师网络问题。另外，这也导致无法简单的通过使用较大的教师网络来增强学生网络的性能。

发明内容

本发明提供了一种基于向量标准化和知识蒸馏的图像分类方法，能够在不引入额外参数及计算开销的情况下，提升学生网络的性能，提高图像分类精度。

一种基于向量标准化和知识蒸馏的图像分类方法，包括以下步骤：

(1)构建并训练一个教师模型，所述教师模型采用深度卷积神经网络；

(2)构建一个比教师模型小的学生模型，所述学生模型也采用深度卷积神经网络；

(3)使用蒸馏损失函数对学生模型进行训练，在训练过程中，对学生模型和教师模型输出的概率编码向量进行标准化；

(4)学生模型训练完毕，将待分类的图像输入训练好的学生模型，进行分类预测。

本发明的方法，首先训练一个较大的深度卷积网络作为教师网络，然后在教师网络的监督信息下，训练一个较小的学生网络。该方法能够帮助一个较小的深度卷积网络保留教师网络的部分性能。同时，在概率值向量后加入了标准化方法，以解决容量差距问题。

步骤(1)的具体过程为：

(1-1)选择训练数据，对训练数据标准化以及做数据增强，随后送到深度卷积神经网络的输入层；

(1-2)将输入层得到的图像信号，送入多层卷积网络中；

(1-3)在网络的最高层，得到对类别信息的概率编码值；

(1-4)使用交叉熵损失函数对深度卷积神经网络进行训练；

(1-5)重复上述步骤，直到深度卷积神经网络收敛，得到训练好的教师模型。