[发明专利]一种基于通用扰动的对抗样本生成方法及系统

权利要求书

1.一种基于通用扰动的对抗样本生成方法，应用于ViT模型的训练，其特征在于，所述基于通用扰动的对抗样本生成方法包括：

获取训练样本集；所述训练样本集中包括多张样本图像；

随机初始化一个与ViT模型的输出图像尺寸相同的初始扰动图像；所述ViT模型包括多个相同的单元，每个单元均包括多个注意力算子；

根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像；

将所述最佳通用扰动线性加在待训练样本集中的样本图像中，得到对应的终极对抗图像。

2.根据权利要求1所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据所述训练样本集及所述ViT模型的各注意力算子，对所述初始扰动图像进行迭代优化，得到最佳通用扰动图像，具体包括：

针对第n次迭代，将第n-1次优化后的扰动图像线性加在第n张样本图像中，得到第n张对抗图像，1≤n≤N，N为样本图像的数量；第0次优化后的扰动图像为初始扰动图像；

根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵；

根据第n张对抗图像及ViT模型，确定第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵；

根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标；

根据所述优化目标，对第n-1次优化后的扰动图像进行优化，得到第n次优化后的扰动图像；

当迭代次数大于或等于样本图像的数量或优化目标收敛时，将当前扰动图像作为最佳通用扰动图像。

3.根据权利要求2所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据第n张样本图像及ViT模型，确定第n张样本图像在各单元中各注意力算子中的第一继承式注意力权重矩阵，具体包括：

根据第n张样本图像及ViT模型，得到第n张样本图像在各单元中各注意力算子的自注意权重矩阵；

根据各单元中各注意力算子的自注意权重矩阵，确定各单元的平均注意力权重矩阵；

根据前l-1个单元的平均注意力权重矩阵以及第l个单元中各注意力算子的自注意权重矩阵，得到第n张样本图像在第l个单元中各注意力算子的第一继承式注意力权重矩阵。

4.根据权利要求3所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第l个单元的平均注意力权重矩阵：

其中，为第l个单元的平均注意力权重矩阵，M为第l个单元中注意力算子的个数，为第l个单元中第m个算子的自注意权重矩阵，L为单元的数量。

5.根据权利要求3所述的基于通用扰动的对抗样本生成方法，其特征在于，根据以下公式，得到第n张样本图像在第l个单元中第m个注意力算子的第一继承式注意力权重矩阵：

其中，x为样本图像，为第n张样本图像x_n在第l个单元中第m个算子的第一继承式注意力权重矩阵，为第i个单元的平均注意力权重矩阵，为第l个单元中第m个注意力算子的自注意权重矩阵，α是一个常数项。

6.根据权利要求2所述的基于通用扰动的对抗样本生成方法，其特征在于，所述根据第n张样本图像及第n张对抗图像在各单元中各注意力算子中的第一继承式注意力权重矩阵及第二继承式注意力权重矩阵，确定优化目标，具体包括：

计算第n张样本图像在各单元中各注意力算子中的的第一继承式注意力权重矩阵与第n张对抗图像在各单元中各注意力算子中的第二继承式注意力权重矩阵的余弦距离；

根据余弦距离，确定优化目标。