[发明专利]一种面向人工智能安全的物理灯光后门攻击的训练方法

说明书

本发明属于人工智能安全领域，并公开了一种面向人工智能安全的物理灯光后门攻击的训练方法，包括：对目标对象进行灯光后门攻击，根据灯光颜色在目标对象上产生对应的灯光触发器，基于灯光触发器生成后门图像数据；获取干净图像数据，基于后门图像数据和所述干净图像数据分别构建训练集；干净图像数据为未产生灯光触发器的原始图像；构建后门模型，所述后门模型为深度学习模型，基于所述训练集对所述后门模型进行训练，得到训练后的后门模型；构建测试集，基于所述测试集对所述训练后的后门模型进行评估，得到灯光后门攻击的攻击成功率数据和干净准确率数据。本发明所述技术方案拥有较高攻击成功率的同时实现了更加隐蔽的物理后门攻击。

技术领域

本发明属于人工智能安全领域，特别是涉及一种面向人工智能安全的物理灯光后门攻击的训练方法。

背景技术

深度神经网络已经在人脸识别、自动驾驶、自然语言处理等领域得到了广泛应用。然而，深度神经网络是脆弱的，它很容易受到敌手攻击。其中，最为著名的攻击是对抗样本。对抗样本对图像添加难以察觉的扰动来欺骗深度神经网络，使图像被错误分类。

后门攻击是深度神经网络的另一种威胁。与对抗样本不同，后门攻击更多的关注于模型的训练阶段，它旨在中毒一小部分训练样本并在训练模型时实现攻击。攻击者将训练好的后门模型在网上共享，当用户下载后门模型并使用时可能会造成安全隐患。

以图像分类为例，后门攻击通过中毒训练集来发起。攻击者对部分干净训练集添加精心制作的触发器，这些添加触发器的图像称为后门图像。此外，将后门训练集的标签设置为目标标签，然后把干净训练集和中毒训练集混合来训练模型。这样训练后的模型在对干净测试集的预测时表现正常，但会对后门测试集做出错误的分类。后门攻击根据目标标签是否和后门图像的原始内容一致分为中毒标签后门攻击和干净标签后门攻击。

数字后门攻击，目前，对后门攻击的研究大多集中于数字后门攻击，即使用数字修改的方法对图像添加触发器，后门触发器可以是一小块补丁或者是像素点，也可以是图像的混合等。

物理后门攻击，物理后门攻击利用现实世界真实存在的对象作为触发器而非数字生成，这使得图像看起来更加自然。例如：物理触发器可能是墨镜或头巾，或者是交通标志上黏贴的贴纸。

当前物理后门攻击存在的问题：

(1)在一些情况下，攻击者很难直接访问目标对象实现触发器的部署，例如，高杆上的交通标志；

(2)直接在目标对象上黏贴贴纸是不自然的，这很容易引起怀疑。

发明内容

本发明的目的是提供一种面向人工智能安全的物理灯光后门攻击的训练方法，以解决上述现有技术存在的问题。

为实现上述目的，本发明提供了一种面向人工智能安全的物理灯光后门攻击的训练方法，包括：

对目标对象进行灯光后门攻击，根据灯光颜色在目标对象上产生对应的灯光触发器，基于所述灯光触发器生成后门图像数据；

获取干净图像数据，基于所述后门图像数据和所述干净图像数据分别构建训练集；所述干净图像数据为未产生灯光触发器的原始图像；

构建后门模型，其中，所述后门模型为深度学习模型，基于所述训练集对所述后门模型进行训练，得到训练后的后门模型；

构建测试集，基于所述测试集对所述训练后的后门模型进行评估，得到灯光后门攻击的攻击成功率数据和干净准确率数据。

可选的，所述灯光触发器包括蓝、绿、红三种颜色。

可选的，生成所述后门图像数据的过程包括：

在目标对象上产生灯光触发器后，通过摄像机对生成所述灯光触发器的目标对象进行拍摄，得到所述后门图像数据。