[发明专利]一种基于通用扰动的对抗样本生成方法及系统

说明书

本发明提供一种基于通用扰动的对抗样本生成方法及系统，属于机器学习领域，对抗样本生成方法包括：获取训练样本集；随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；根据训练样本集及ViT模型的各注意力算子，对初始扰动图像进行迭代优化，得到最佳通用扰动图像；将最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。在不影响视觉效果的前提下将正常的训练样本转化为对抗样本，采用最终的对抗样本对ViT模型进行训练，可以提高模型的抗干扰能力和鲁棒性。

技术领域

本发明涉及机器学习领域，特别是涉及一种基于通用扰动的对抗样本生成方法及系统。

背景技术

随着深度学习技术的成熟，基于神经网络构建的模型被广泛应用于各种分类任务中，例如用于对图像进行分类、对文本进行分类、对语音进行分类等。卷积神经网络具有局部感知和权重共享的特性，在计算机视觉中发挥着重要的作用。但是近年来，大量研究发现它们非常容易受到对抗性噪声的影响：在输入中嵌入人类难以察觉的干扰很容易误导模型的决策。在实际应用中，为了使模型对包含扰动的对象进行正确的决策，就需要模型具有较强的抗干扰能力。对抗学习是目前提高模型抗干扰性能的最有效的防御方法。它的主要思路是将原始训练样本转化为对抗样本重新输入到网络模型中进行训练，以此提高网络模型的鲁棒性。然而由于对抗学习需要在训练网络的同时，不断迭代生成所需的对抗样本，训练效率低下，难以应用到大型数据集中。目前，如何提高模型对抗训练效率成为深度模型防御领域最亟需解决的问题之一。

Transformers作为一种基于自注意机制的序列转导模型在自然语言处理(NLP)中取得了巨大的成功。最近的研究试图探索基于注意力机制的Transformers来解决各种计算机视觉任务。Transformers在图像分类、目标检测、语义分割、图像超分辨率重建等视觉领域得到很大的突破。其中，在大型数据集下，ViTs(Vision Transformer)在图像分类任务上的性能已被验证优于最先进的卷积神经网络。然而近期研究发现，ViTs仍然容易受到对抗性噪声的影响，从而产生错误的预测结果。由于ViTs模型在训练阶段要求数据规模庞大，为每一个训练样本生成对应的对抗样本需要很高的时间代价，所以很难有效部署有效的对抗训练。因此有必要探索在ViTs模型中的对抗样本的生成方法。

发明内容

本发明的目的是提供一种基于通用扰动的对抗样本生成方法及系统，可提高对抗样本的生成效率，进而提高训练模型的抗干扰能力。

为实现上述目的，本发明提供了如下方案：

一种基于通用扰动的对抗样本生成方法，应用于ViT模型的训练，所述基于通用扰动的对抗样本生成方法包括：

获取训练样本集；所述训练样本集中包括多张样本图像；

随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像；

将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

可选地，所述根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像，具体包括：

针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；

根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；

根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；