[发明专利]可切换在线知识蒸馏的图像分类方法、装置及可存储介质

权利要求书

1.一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，包括以下步骤：

获取待处理图像；

构建老师网络以及学生网络，并确定所述老师网络与所述学生网络之间的蒸馏差距；

确定所述蒸馏差距的自适应切换阈值，利用所述自适应切换阈值实现所述老师网络与所述学生网络的交互学习切换，实现所述学生网络的压缩；

利用经过上述处理的所述学生网络对所述待处理图像进行分类。

2.根据权利要求1所述的一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，利用所述自适应切换阈值实现所述老师网络与所述学生网络交互学习切换的具体过程包括：

当所述蒸馏差距大于等于所述自适应切换阈值时，所述老师网络暂停学习，同时所述学生网络向所述老师网络学习，定义为专家模式；

当所述蒸馏差距小于所述自适应切换阈值时，所述学生网络与所述老师网络互相学习，定义为学习模式。

3.根据权利要求2所述的一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，所述学习模式的具体过程包括：

利用CE损失训练所述老师网络，确定所述老师网络与所述学生网络之间的损失函数，具体表达式为：

式中，α为平衡超参数，L_CE为CE损失，与分别是老师网络与学生网络的预测，l表示学习模式，表示学习模式下老师网络的损失函数，表示学习模式下学生网络的损失函数，L_KL表示KL散度，τ表示温度参数；

将所述老师网络的损失函数进行重写，具体表达式为：

式中，β表示平衡超参数；

确定所述老师网络及所述学生网络的损失函数对应的梯度，具体表达式为：

式中，z_t表示老师网络的逻辑输出，z_s表示学生网络的逻辑输出；

基于所述自适应切换阈值实现模式切换。

4.根据权利要求2所述的一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，所述专家模式的具体过程包括：

确定所述学生网络的损失，具体表达式为：

式中，表示专家模式下学生网络的损失函数，上标e表示专家模式；确定所述学生网络的损失对应的梯度，具体表达式为：

式中，表示专家模式下老师网络的预测，表示专家模式下学生网络的预测；

基于所述自适应切换阈值实现模式切换。

5.根据权利要求1所述的一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，确定所述老师网络与所述学生网络之间的蒸馏差距的具体表达式为：

式中，G表示蒸馏差距，τ表示温度参数，表示老师网络的软化输出，表示学生网络的软化输出，K表示样本x的类别数目，k为软化输出的第k个元素，s、t分别表示学生与老师网络输出的下标。

6.根据权利要求1所述的一种基于可切换在线知识蒸馏的图像分类方法，其特征在于，所述自适应切换阈值的具体表达式为：

式中，δ表示自适应切换阈值，y是输入图片的真实类别标签。

7.一种利用权利要求1-5任一项所述的一种基于可切换在线知识蒸馏的图像分类方法的图像分类装置，其特征在于，包括：

获取模块，用于获取待处理图像；

构建模块，用于构建老师网络以及学生网络，并确定所述老师网络与所述学生网络之间的蒸馏差距；

切换模块，用于确定所述蒸馏差距的自适应切换阈值，利用所述自适应切换阈值实现所述老师网络与所述学生网络交互学习切换，实现所述学生网络的压缩；

分类模块，用于利用经过上述处理的所述学生网络对所述待处理图像进行分类。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的图像分类方法。