[发明专利]基于代理模型的对抗样本生成方法和装置

说明书

本发明提供了一种基于代理模型的对抗样本生成方法和装置。该方法包括：提供代理模型、原始样本和一基于迭代的对抗样本生成算法；基于代理模型、原始样本和对抗样本生成算法迭代生成对抗样本，直到达到预设终止条件；在每个迭代轮次中：获取上一轮次迭代生成对抗样本时，代理模型的各个参数自身的权重；基于各个参数的权重计算对应参数的重要性分数，所述重要性分数用于表示相应轮次中代理模型的对应参数对生成的对抗样本的影响程度；根据预设规则以及所述代理模型的各个参数的重要性分数剪除所述代理模型的部分参数；根据剪除部分参数后保留的各个参数更新所述代理模型；将达到预设终止条件时生成的对抗样本作为最终的对抗样本。

技术领域

本发明的实施方式涉及神经网络技术领域，更具体地，本发明的实施方式涉及一种基于代理模型的对抗样本生成方法和装置。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

图像识别作为计算机视觉中的一个重要的任务，由于深度神经网络的带动，也取得了巨大的发展。并且图像识别系统在金融/支付，公共交通以及罪犯识别等现实场景中有很多的应用。虽然图像识别系统取得了很大的成功与实际应用，但是这些系统还无法完全确保具备足够的安全性。

近几年来，深度学习在图像、语音和自然语言等领域取得突破性成果。但是，对于一些可以达到很高准确识别率的深度神经网络模型，在对抗环境中却也很容易受到攻击。在对抗环境中，深度神经网络模型会被输入一些基于正常样本恶意构造的对抗样本（例如，图片或者语音信息），在对抗样本的攻击下，深度神经网络模型会做出错误的预测。因此，采用对抗样本对深度神经网络进行攻击可以检测出深度神经网络模型潜在的漏洞，继而用于评估和提升深度神经网络模型的安全性。

发明内容

在本上下文中，本发明的实施方式期望提供一种基于代理模型的对抗样本生成方法、装置、介质和计算设备。

在本发明实施方式的第一方面中，提供了一种基于代理模型的对抗样本生成方法，包括：

提供代理模型、原始样本和一基于迭代的对抗样本生成算法；

基于代理模型、原始样本和对抗样本生成算法迭代生成对抗样本，直到达到预设终止条件；

在每个迭代轮次中：

获取上一轮次迭代生成对抗样本时，代理模型的各个参数自身的权重；

基于各个参数的权重计算对应参数的重要性分数，所述重要性分数用于表示相应轮次中代理模型的对应参数对生成的对抗样本的影响程度；

根据预设规则以及所述代理模型的各个参数的重要性分数剪除所述代理模型的部分参数；

根据剪除部分参数后保留的各个参数更新所述代理模型；

将达到预设终止条件时生成的对抗样本作为最终的对抗样本。

在本实施方式的一个实施例中，某一参数的重要性分数为所述参数的权重的绝对值。

在本实施方式的一个实施例中，在每个迭代轮次中，计算参数的重要性分数之前，还获取上一轮次迭代生成对抗样本时，代理模型的各个参数自身的梯度；

在计算各个参数的重要性分数时，将各个参数的权重和梯度的乘积或各个参数的权重和梯度的乘积的绝对值作为对应参数的重要性分数。

在本实施方式的一个实施例中，所述预设规则包括剪除重要性分数低于预设阈值的参数和/或以预设的剪枝率进行参数剪除。

在本实施方式的一个实施例中，根据预设规则以及所述代理模型的各个参数的重要性分数剪除所述代理模型的部分参数，包括：

基于各个参数的重要性分数，按照从高到低的顺序对各个参数进行排序；