[发明专利]一种基于对抗样本增强模型抗攻击能力的方法和系统

权利要求书

1.一种基于对抗样本增强模型抗攻击能力的方法，其中，所述方法包括：

获取目标样本；

将所述目标样本输入第一模型，得到对应于所述目标样本的输出；

调整所述目标样本，以降低所述目标样本的所述输出中的前N个最大的输出值，其中，所述N是正整数，所述输出值用于表征所述目标样本属于所述输出值对应类别的概率；

在所述输出满足预设条件时，将调整后的所述目标样本作为对抗样本；

基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力；

其中，所述第二模型是基于对所述第一模型微调得到的。

2.如权利要求1所述的方法，其中，所述目标样本为图像样本；所述调整所述目标样本包括：调整所述目标样本中若干像素的值，其中被调整的每个像素的值的变化范围小于像素阈值。

3.如权利要求1所述的方法，其中，所述输出为所述第一模型的logits层的输出。

4.如权利要求1所述的方法，其中，所述调整所述目标样本，包括：

沿所述第一模型的梯度的方向调整所述目标样本，并将调整后的所述目标样本输入所述第一模型；

所述方法还包括：

重复执行将所述目标样本输入第一模型的步骤，至调整所述目标样本的步骤，直至所述输出满足所述预设条件。

5.如权利要求4所述的方法，其中，在所述输出值小于或等于该输出值对应的输出值阈值，或者，所述重复执行所述步骤的次数大于或等于次数阈值时，所述输出满足所述预设条件。

6.如权利要求1所述的方法，其中，所述基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力，包括：

将所述对抗样本输入所述第二模型，得到与所述对抗样本对应的输出，该输出用于表征所述对抗样本属于该输出对应类别的概率；

针对同一所述对抗样本，若该对抗样本的所有该输出中的最大值对应的标签与所述对抗样本的真实标签不同，则判定该对抗样本对所述第二模型攻击成功；

针对多个所述对抗样本，统计对应于该多个所述对抗样本的所述攻击的成功次数在所述攻击的总次数中的比例，并基于该比例调整所述第二模型，以增强所述第二模型的抗攻击能力。

7.如权利要求1所述的方法，其中，所述第一模型和所述第二模型为用于对图片进行识别的模型。

8.一种基于对抗样本增强模型抗攻击能力的系统，其中，所述系统包括：

获取模块，用于获取目标样本；

输入模块，用于将所述目标样本输入第一模型，得到对应于所述目标样本的输出；

调整模块，用于调整所述目标样本，以降低所述目标样本的所述输出中的前N个最大的输出值，其中，所述N是正整数，所述输出值用于表征所述目标样本属于所述输出值对应类别的概率；

对抗样本生成模块，用于在所述输出满足预设条件时，将调整后的所述目标样本作为对抗样本；

增强模块，用于基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力；

其中，所述第一模型为预训练模型，所述第二模型是基于对所述预训练模型微调得到的。

9.如权利要求8所述的系统，其中，所述目标样本为图像样本；所述调整模块用于：调整所述目标样本中若干像素的值，其中被调整的每个像素的值的变化范围小于像素阈值。

10.如权利要求8所述的系统，其中，所述输出为所述第一模型的logits层的输出。

11.如权利要求8所述的系统，其中，所述调整模块，包括：

目标样本调整单元，用于沿所述第一模型的梯度的方向调整所述目标样本，并将调整后的所述目标样本输入所述第一模型；

判断单元，用于判断所述输出是否满足所述预设条件，并在所述输出满足所述预设条件时，所述目标样本调整单元停止调整所述目标样本，在所述输出不满足所述预设条件时，所述目标样本调整单元继续调整所述目标样本。