[发明专利]可切换在线知识蒸馏的图像分类方法、装置及可存储介质

说明书

本发明公开了一种可切换在线知识蒸馏的图像分类方法、装置及可存储介质，涉及机器学习技术领域，其中方法包括以下步骤：获取待处理图像；构建老师网络以及学生网络，并确定所述老师网络与所述学生网络之间的蒸馏差距；确定所述蒸馏差距的自适应切换阈值，利用所述自适应切换阈值实现所述老师网络与所述学生网络的交互学习切换，实现所述学生网络的压缩；利用经过上述处理的所述学生网络对所述待处理图像进行分类；本发明所获得的压缩学生模型具有图像识别准确率高、存储空间小以及识别速度快等优势。

技术领域

本发明涉及机器学习技术领域，更具体的说是涉及一种可切换在线知识蒸馏的图像分类方法、装置及可存储介质。

背景技术

目前，在线知识蒸馏通过互利互惠的方式，利用学生与老师网络之间的差异性，来改善他们的性能。

但是，在线知识蒸馏通过互利互惠的方式，利用学生与老师网络之间的差异性，以此提升小型、压缩学生网络的图像分类性能，而当前已有的常规网络模型，往往面临着存储资源需求大、计算复杂度高以及图像识别延迟度高等问题。

因此，如何提供一种能够解决上述问题的可切换在线知识蒸馏的图像分类方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种可切换在线知识蒸馏的图像分类方法、装置及可存储介质，所获得的压缩学生模型具有图像识别准确率高、存储空间小以及识别速度快(网络推理延迟低)等优势。

为了实现上述目的，本发明采用如下技术方案：

一种基于可切换在线知识蒸馏的图像分类方法，包括以下步骤：

获取待处理图像；

构建老师网络以及学生网络，并确定所述老师网络与所述学生网络之间的蒸馏差距；

确定所述蒸馏差距的自适应切换阈值，利用所述自适应切换阈值实现所述老师网络与所述学生网络的交互学习切换，实现所述学生网络的压缩；

利用经过上述处理的所述学生网络对所述待处理图像进行分类。

优选的，利用所述自适应切换阈值实现所述老师网络与所述学生网络交互学习切换的具体过程包括：

当所述蒸馏差距大于等于所述自适应切换阈值时，所述老师网络暂停学习，同时所述学生网络向所述老师网络学习，定义为专家模式；

当所述蒸馏差距小于所述自适应切换阈值时，所述学生网络与所述老师网络互相学习，定义为学习模式。

优选的，所述学习模式的具体过程包括：

利用CE损失训练所述老师网络，确定所述老师网络与所述学生网络之间的损失函数，具体表达式为：

式中，α为平衡超参数，L_CE为CE损失，与分别是老师网络与学生网络的预测，l表示学习模式，表示学习模式下老师网络的损失函数，表示学习模式下学生网络的损失函数，L_KL表示KL散度，τ表示温度参数；

将所述老师网络的损失函数进行重写，具体表达式为：

式中，β表示平衡超参数；

确定所述老师网络及所述学生网络的损失函数对应的梯度，具体表达式为：

式中，z_t表示老师网络的逻辑输出，z_s表示学生网络的逻辑输出；

基于所述自适应切换阈值实现模式切换。