[发明专利]一种基于Transformer模型的黑盒对抗样本生成方法

权利要求书

1.一种基于Transformer模型的黑盒对抗样本生成方法，该方法针对Transformer中不同的编码块属性，采用两种策略联合生成对抗样本，针对鲁棒编码块，使用交叉熵损失策略，针对非鲁棒编码块，使用基于自注意力特征损失策略，该方法能够避免模型信息的冗余，提高了对抗样本的迁移能力，其特征在于该方法包括以下步骤：

步骤1：获取原始图像及对应的标签，形成原始数据集，并初始化与原始图像尺寸相同的对抗扰动；

步骤2：生成多张与所述原始图像尺寸相同的噪声图像，形成负样本数据集；

步骤3：根据所述原始图像和负样本数据集，将视觉Transformer，即ViT模型中的编码块划分为鲁棒编码块和非鲁棒编码块；其中所述ViT模型为预训练模型，包含多个编码块，每个编码块均可提取分类信息用于计算目标损失值；

步骤4：将所述对抗扰动与原始图像线性叠加输入至所述ViT模型中，迭代更新对抗扰动，直至满足停止迭代条件，输出最终对抗扰动，将所述的最终对抗扰动和原始图像线性叠加，得到对应的对抗样本。

2.如权利要求1所述的基于Transformer模型的黑盒对抗样本生成方法，其特征在于：在步骤2中形成负样本数据集，具体包括：

确定所述原始图像对应的负样本数据集中包含的图像个数为M；

根据以下公式，得到原始图像对应的负样本数据集中的第m张图像：

其中，为第m张噪声图像；p代表噪声图像中某一像素点为0的概率，1-p代表噪声图像中某一像素点为1的概率；x为原始图像；⊙代表向量点积。

3.如权利要求1所述的基于Transformer模型的黑盒对抗样本生成方法，其特征在于：在步骤3中将ViT模型中的编码块划分为鲁棒编码块和非鲁棒编码块，具体包括：

根据所述原始图像及ViT模型，确定该模型关于原始图像的目标损失函数值和各个编码块关于原始图像的自注意力特征图，分别称为第一损失值和第一自注意力特征图；根据第一损失值和第一自注意力特征图，得到各个编码块中的第一编码块权重分数；

根据所述负样本数据集中的各图像及ViT模型，确定该模型关于负样本的目标损失函数和各个编码块关于负样本的自注意力特征图，分别称为第二损失值和第二自注意力特征图；

根据第二损失值和第二自注意力特征图，确定各个编码块中的第二编码块权重分数；

根据负样本数据集中各图像的第二编码块权重分数，得到各个编码块中的平均第二编码块权重分数；

根据第一编码块权重分数和平均第二编码块权重分数，确定各编码块的抗干扰能力，将前K个抗干扰能力强的编码块划分为鲁棒编码块，其余编码块划分为非鲁棒编码块。

4.如权利要求3所述的基于Transformer模型的黑盒对抗样本生成方法，其特征在于根据以下公式，得到各个编码块的第一编码块权重分数：

其中，B表示ViT模型中编码块的数量；i表示编码块的编号；J(x,y)表示ViT模型的损失函数；SAM_i(x)表示第i个编码块提取的自注意力特征图；表示对x求梯度。

5.如权利要求3所述的基于Transformer模型的黑盒对抗样本生成方法，其特征在于：根据以下公式，得到各个编码块的平均第二编码块权重分数：

其中M为负样本数据集包含的图像数量。

6.如权利要求3所述的基于Transformer模型的黑盒对抗样本生成方法，其特征在于：所述的鲁棒编码块和非鲁棒编码块，具体包括：

根据以下公式，得到各编码块的抗干扰能力：

其中，| |代表取绝对值；wⁱ(x)表示第i个编码块的第一编码块权重分数，表示第i个编码块的平均第二编码块权重分数；

根据以下公式，得到抗干扰能力由强到弱的编码块位置：

S＝[s₁,s₂,…,s_B]

其中，前K个位置对应的编码块为鲁棒编码块，其余为非鲁棒编码块。