[发明专利]一种基于类激活映射的对抗样本可视化解释方法

说明书

本发明公开一种基于类激活映射的对抗样本可视化解释方法，包括对抗样本生成阶段，通过对抗攻击算法为正常样本添加扰动生成相应的对抗样本；特征提取阶段，将对抗样本图片和正常样本图片输入到训练好的深度学习模型中进行特征提取得到对抗样本特征和正常样本特征，并对对抗样本和正常样本做样本分类；特征显著图生成阶段，计算对抗样本的分类结果对对抗样本特征的梯度和正常样本的分类结果对正常样本特征的梯度；将针对正常样本与对抗样本计算所得的梯度差异作为权重，与对抗样本特征进行线性加权融合得到最终的对抗样本特征显著图。

技术领域

本发明主要涉及深度学习领域，尤其涉及一种基于类激活映射的对抗样本可视化解释方法。

背景技术

近年来，深度学习在计算机视觉、自然语言处理、语音信号识别等领域取得了显著进展。然而，随着对深度学习算法研究的不断深入，深度神经网络表现出了较为普遍的脆弱性。2014年，Szegedy等人^[1]发现通过将一些人眼无法识别的扰动添加到正常样本中就能够有效欺骗深度学习模型。这类被添加扰动的样本被称为对抗样本，而生成对抗样本的过程被称为对抗攻击。

针对深度学习的对抗攻击算法已经有大量的相关工作，其中基于梯度的攻击方法是最流行的攻击方式。具体来说，该攻击方法主要是通过损失函数反向传播至输入图像，并根据对应梯度修改图像，使其成为对抗样本。最典型的方法是Goodfellow等人^[2]提出的FGSM(Fast Gradient Sign Method)算法，通过最大化分类器在图像上的损失来扰乱图像，FGSM算法的高效之处在于仅需一步计算即可生成对抗样本。Kurakin等人^[3]提出FGSM的扩展方法BIM(Basic Iterative Method)，不同于FGSM通过一大步运算增大分类器的损失函数，BIM迭代地通过多个小步骤对图像进行扰动，并在每个步骤之后调整方向计算，使扰动更为精确。在BIM算法之后，Madry等人^[4]引入了BIM的一种变体称为PGD(ProjectedGradient Descent)攻击，PGD算法采用了随机启动的投影梯度下降法，以一定步长按照梯度的符号方向对输入图像进行多次扰动，来弥补单步梯度下降的不足。

这一系列对抗攻击算法的出现对深度学习模型的安全性产生了难以估量的威胁，使得其在髙安全性需求场景中的应用面临巨大挑战，因此有必要对针对深度神经网络的对抗攻击算法的可解释性开展深入的研究。通过解释分析对抗样本将模型错误分类的原因，可以发现深度学习模型的薄弱之处，促使构建更加稳固的深度学习模型来抵御对抗攻击。因此，研究分析对抗样本的可解释性就显得尤为重要。

研究对抗样本可解释性首先需要对深度神经网络的可解释性展开研究。近年来，针对深度神经网络的可解释性研究，科研人员也从多个角度进行了尝试，主要可以分为模型内部可视化解释方法和模型结果可视化解释方法。模型内部可视化解释方法主要在模型运作过程中实现内部信息的可视化。其代表方法为Liu等人^[5]提出的模型可视化分析方法，该方法将深度学习模型中的不同神经元间的关系以可视化的形式表征出来，并且还引入了两个算法来可视化网络模型中神经元的派生关系。模型结果可视化解释方法主要是对模型关注的区域进行定位。该方向的主流方法为基于类激活映射的可视化解释方法CAM^[6](Class Activation Mapping)，其核心思想是利用卷积层的输出，即特征图，作为获取解释结果的原始信息，通过某种方式计算出权重，对特征图进行加权求和获取最终的解释结果。但是该方法灵活性差，不能适用于所有的模型。根据CAM的思想，Selvaraju和Chattopadhay等人提出了Grad-CAM^[7]和Grad-CAM++^[8]，使用特定类别的预测分数关于特征层的梯度来计算权重，比起CAM更具泛化性，并且可以用于不同的模型结构和任务。

而目前模型可视化解释方法主要是针对正常样本做解释性分析，而且这些解释方法由于对模型的鲁棒性较为敏感，不能够定位到人可解释的样本特征区域，无法发现深度学习模型的薄弱之处，构建的深度学习模型也不够稳固。