[发明专利]一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法

说明书

本发明公开了一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法，该方法用来解决图像分类领域内知识蒸馏方法出现学生模型对抗鲁棒性学习不足的问题。该方法使学生模型的自然样本输出与对抗样本输出均向教师模型学习，还规定模型自然样本输出与针对其本身的对抗样本输出之间的距离度量为对抗偏差，将教师模型的对抗偏差作为额外蒸馏项传递给学生模型，提高学生模型的泛化性。本发明实现了将教师模型的分类准确性与对抗鲁棒性传递给了学生模型，使学生模型在进行图像分类任务时可以保证较高识别准确率，并更加有效地抵御图像对抗攻击。相比于其他方法，本方法在多个常见的图像分类数据集上取得良好效果。

技术领域

本发明属于计算机深度学习领域，尤其涉及一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法。

背景技术

知识蒸馏是图像分类领域内的一种模型压缩技术，它通过让学生模型的输出模仿大型教师模型输出的方法，将教师模型的知识提取给学生模型，达到比学生模型自己训练更好的效果。然而随着对抗攻击等人工智能安全问题的出现，常用的模型都需要具备一定的抵御对抗攻击的鲁棒性，但是传统的知识蒸馏技术出现了无法将教师模型的对抗鲁棒性传递给学生模型的问题。因此如何在知识蒸馏过程中既能够使学生模型学习到准确性又能够学习到鲁棒性是亟需解决的。

发明内容

本发明的目的是为了提高图像分类领域中知识蒸馏方法的性能，解决蒸馏过程中学生模型无法较好获得教师模型的对抗鲁棒性的问题，提供一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法。

本发明的目的是通过以下技术方案来实现的：一种基于对抗偏差与鲁棒性知识蒸馏的图像分类方法，包括以下步骤：

步骤一：在输入的图像数据集上，对于教师模型进行对抗训练的预训练环节；对学生模型进行参数初始化；教师模型和学生模型均为图像分类模型；

步骤二：在步骤一输入的图像数据集上，使用对抗攻击方法，针对于教师模型与学生模型分别生成其各自的对抗样本；

步骤三：使用对抗偏差学习方法进行对抗鲁棒性知识蒸馏，使学生模型学习教师模型的知识，在训练中优化学生模型；

步骤四：将待识别图像输入步骤三优化后的学生模型，预测得到图像类别。

进一步地，步骤二中，获得对抗样本的方法是，使用投影梯度下降方法针对于模型攻击生成。

进一步地，步骤三通过以下子步骤来实现：

(3.1)使学生模型自然样本输出模仿教师模型自然样本输出，在损失函数中添加学生模型自然样本输出与教师模型自然样本输出的相对熵；

(3.2)使学生模型对抗样本输出模仿教师模型自然样本输出，在损失函数中添加学生模型对抗样本输出与教师模型自然样本输出的相对熵；

(3.3)计算学生模型自然样本输出与其自身对抗样本输出的差值为学生模型的对抗偏差，计算教师模型自然样本输出与其自身对抗样本输出的差值为教师模型的对抗偏差；

(3.4)使学生模型对抗偏差模仿教师模型对抗偏差，在损失函数中添加学生模型对抗偏差与教师模型对抗偏差的相对熵；

(3.5)为损失函数中的三项相对熵分配指定权重，优化对抗鲁棒性蒸馏效果；

(3.6)对于学生模型进行鲁棒性知识蒸馏训练，进行优化。

进一步地，步骤(3.5)中，学生模型的损失函数如下：

其中，KL(·)为相对熵函数，α、β、γ为权重；表示教师模型的第i个图像样本对应的输出，表示学生模型的第i个图像样本对应的输出，表示教师模型的第i个对抗样本对应的输出，表示学生模型的第i个对抗样本对应的输出。

进一步地，步骤(3.6)中，学生模型的优化函数为：