[发明专利]一种黑盒攻击对抗样本生成方法及系统

说明书

本发明公开了一种黑盒攻击对抗样本生成方法及系统，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解，根据当前最优解的适应度值与原始图像的正确类别置信度值的比值将候选解集合划分为两部分，对每一部分分别进行候选解计算，依据贪婪选择确定最终下一代的候选解并更新当前最优解，采用自适应最优引导局部寻优策略，本发明不需要攻击者了解模型的具体细节信息，并且无需要利用梯度信息或训练替代模型，就可以成功生成对抗样本，对图像分类模型进行规避攻击的情境，适用于目标攻击和非目标攻击，能够以高效率、低成本生成对抗样本，实现测试深度学习模型的可信性。

技术领域

本发明属于机器学习安全领域，具体涉及一种黑盒攻击对抗样本生成方法及系统。

背景技术

深度学习的快速发展为复杂问题求解提供了新的方法，已被证实能够成功应用于图像检测、语音识别、同声翻译、无人驾驶、医疗等众多复杂问题上。与传统方法相比较而言，在海量数据上其准确率与性能均更优，取得了令人瞩目的成果。然而深度学习计算复杂度高、内存消耗严重也限制了众多研究成果的实际应用，并且要将科研产出成功应用于实际，其安全性也是研究人员与系统使用者不得不考虑的问题。虽然深度学习在众多领域取得了颠覆性的优势，然而对抗样本的出现揭示了深度学习模型的脆弱性，且对抗样本不仅存在于攻击者恶意制作下，也存在于真实的物理世界中，这对于深度学习模型的部署及实际应用提出了挑战，尤其是对安全性要求较高的实际应用场景下。比如，在无人驾驶应用中使用深度学习进行路标识别时，攻击者可通过对拍摄的路标图像进行对抗攻击，致使模型给出错误的预测，从而导致无人驾驶决策系统做出错误判断，在很大程度上增加了安全事故发生的概率。因此，机器学习系统的安全性问题不容忽视。

在深度学习模型训练正确的情况下，攻击者在预测正确的原始测试样本中恶意加入人体感知系统不可感知的微小扰动，致使模型对加入微小扰动后的合成样本给出错误的预测结果。这种与原始样本视觉差异极难察觉但预测值不同的合成样本即对抗样本。所谓“对抗”，是指对机器学习系统的攻击。

对抗样本在计算机视觉、图像领域具有极大的研究空间。现有图像对抗样本生成方法众多，可将其分为不同类别。依据攻击者对目标模型的了解程度，可将其分为白盒攻击与黑盒攻击。白盒攻击是指攻击者了解模型结构、参数、目标函数等所有细节信息，而黑盒攻击情境下，攻击者仅能访问模型输入与输出。依据攻击者在生成对抗样本是是否指定对抗样本的分类输出类别，可将对抗样本生成算法分类为两大类：目标攻击和非目标攻击。非目标攻击是指只要对抗样本的分类输出类别与原始样本不同即可。而目标攻击是在算法运行之前指定对抗样本的分类输出类别。深度神经网络的高维线性是对抗样本生成的原因，并且对抗样本通常具有迁移性，即被一个模型错误分类的对抗样本也经常被另外一个模型错误分类，因此，需要进一步的针对对抗样本改善深度网络模型，提高深度学习模型的可信性；而目前已有通用对抗扰动，是指扰动的计算与原始测试图像无关，仅与模型有关，只要是该分类模型可以识别的图像，叠加上通用对抗扰动，有很大的概率都被该分类模型错误分类，通用对抗扰动通常在模型间也具有迁移性。

常用的白盒对抗样本生成方法需要攻击者了解模型的所有细节信息，然而在真实场景下，白盒攻击的严格前提很难满足，且现有的训练替代模型与采用梯度评估生成对抗样本方案均需要较多的查询与较大的时间复杂度，无法形成有效的对抗样本对深度学习模型进行测试验证。

发明内容

本发明的目的在于提供一种黑盒攻击对抗样本生成方法及系统，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种黑盒攻击对抗样本生成方法，包括以下步骤：

S1，在原始测试图像上添加相同维度的随机扰动生成多个候选解集合并计算每个候选解的适应度值，选择适应度值最小的候选解作为当前最优解；