[发明专利]一种面向目标检测的物理攻击对抗补丁的生成方法及系统

权利要求书

1.一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于，包括以下步骤：

S1：生成一个像素值随机的矩形对抗补丁；

S2：将对抗补丁进行鲁棒性处理；

S3：初始化掩码矩阵；

S4：将对抗补丁应用在训练集上；

S5：从结果中提取真实类别置信度；

S6：设计损失函数并计算损失；

S7：计算梯度然后更新对抗补丁；

S8：打印补丁，进行物理环境测试。

2.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S1具体包括：

生成一个30×30大小的单通道对抗补丁块，像素值用0-255的随机数填充。

3.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S2具体包括：

为了提高对抗补丁在物理环境中的鲁棒性，将补丁进行旋转、随机添加噪声、随机改变亮度。

4.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S3具体包括：

S3.1：为了实现良好的隐蔽性和将对抗补丁设置成指定的形状，添加了一个mask矩阵，大小和训练集图片分辨率一样；

S3.2：矩阵由0和1构成，0所在位置表示不用对抗补丁的像素值替换训练图片对应位置上的像素值，1表示用对抗补丁的像素值替换训练图片对应位置上的像素值；

S3.3：如需要将对抗补丁设置成树叶的形状，把树叶的照片的分片率调整成和训练集照片一样，再进行二值化处理，阈值可用128，再将树叶所在位置的像素值设置成1，其余部分设置成0。

5.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S4具体包括：

把三通道彩色的训练图片转成单通道灰度图，把S2处理后的补丁贴到灰度图上，贴在待识别对象的中间位置，待识别对象在图片中的位置可以在训练集的标签文件中获得。

6.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S5具体包括：

在添加完补丁后，将图像传入YOLOV3目标检测算法进行检测，得到YOLOV3的输出，再从输出中提取到真实类别的置信度，记为L_obj。

7.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S6具体包括：

S6.1：在实验中我们发现对于低饱和度的图像，彩色打印机打印出来的照片色差更小，因此我们生成低饱和度的对抗补丁，定义可打印程度的损失函数为：

L_nps表示可打印程度损失，P_patch是对抗补丁P中的一个像素，C_print是可打印像素集合C中的一种颜色；

S6.2：为了防止了噪点图像，也让对抗补丁更加真实，有更强的鲁棒性，设计平滑的对抗补丁，定义平滑程度损失函数为：

L_tv表示对抗补丁平滑程度损失，P_i，j表示第i行第j列的像素值；

S6.3：总的损失用LOSS表示，定义为：

LOSS＝kL_obj+αL_nps+βL_tv (3)

K、α、β分别表示正确分类置信度损失、可打印程度损失、平滑程度损失的调节系数。

8.如权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法，其特征在于：所述步骤S7具体包括：

S7.1：由S6得到的总损失利用反向传播算法计算对对抗补丁的梯度，然后更新对抗补丁；

S7.2：循环S2-S7，直到超过预设值的迭代次数300或者攻击成功率达到预先设置的阈值95％。

9.实现权利要求1所述的一种面向目标检测的物理攻击对抗补丁的生成方法的系统，包括：对抗补丁应用模块、目标检测模块、损失计算模块和对抗补丁更新模块；

所述对抗补丁应用模块将对抗补丁自动贴在训练集上，模拟真实的物理环境，具体包括：把30×30大小、像素值用0-255的随机数填充的单通道对抗补丁块，经过旋转、随机添加噪声、随机改变亮度处理后通过标签文件找到目标在训练集图片中的对应位置，根据掩码矩阵中为1的位置用对抗补丁像素值替换掉图片中的像素值，为0的位置保持不变的方法应用在训练集上，模拟真实的物理环境；

所述目标检测模块获取扰动的效果，具体包括：将应用了对抗补丁的图片送到YOLOV3目标检测模型中，从模型输出中得到真实类别的分类置信度；

所述损失计算模块根据自己定义的损失函数计算总的损失，具体包括：对抗补丁的可打印程度、对抗补丁的平滑程度、真实类别的分类置信度，为了将贴了对抗补丁的图片分类错误，即正确分类置信度尽可能的低，把真实类别的分类置信度当作损失的一部分；

所述对抗补丁更新模块用梯度下降的方法更新对抗补丁，具体包括：计算上一步计算得到的总损失求对补丁的梯度，然后用预先设置的学习率更新对抗补丁；

所述的对抗补丁应用模块、目标检测模块、损失计算模块和对抗补丁更新模块依次连接。