[发明专利]对抗样本识别模型生成方法、验证方法及其系统

说明书

本发明涉及对抗样本识别模型生成方法及其系统，该方法包括下述步骤：原模型生成步骤，根据样本的特征空间进行训练生成原模型；第1对抗样本识别模型生成步骤，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及对抗样本识别模型迭代生成步骤，基于所述样本的特征空间和上一级的对抗样本识别模型进行训练得到下一级的对抗样本识别模型，重复该步骤进行相同训练直到生成第n对抗样本识别模型n，其中，n为预设的自然数。根据本发明，通过采用多层监督器来实现对防御对抗样本攻击，使得对抗攻击的成本大大提高，可有效降低对抗攻击的效率。

技术领域

本发明涉及机器学习技术，具体涉及一种基于多层监督器的反对抗样本技术。

背景技术

现有的生成对抗网络有两部分组成，一个是生成器(generator)，一个是辨别器(discriminator)，生成器好比一个小偷，而辨别器好比一个警察，小偷的目的是想方设法的欺骗警察(生成对抗样本)，而警察的目的就是想方设法的去不受欺骗，小偷和警察都在不断的优化自己去达到目的，同时彼此都在对方的“监督”下而提升。

这种对抗训练过程与传统神经网络存在一个重要区别。一个神经网络需要有一个成本函数，评估网络性能如何。这个函数构成了神经网络学习内容以及学习情况的基础。传统神经网络需要一个人类科学家精心打造的成本函数。但是，对于生成式模型这样复杂的过程来说，构建一个好的成本函数绝非易事。这就是对抗性网络的闪光之处。对抗网络可以学习自己的成本函数——自己那套复杂的对错规则——无须精心设计和建构一个成本函数。

因此，现有的技术方法主要有以下几种：

（1）参数变换：加入随机噪声，利用随机梯度算法来自动变更神经网络等模型参数，以加强对对抗样本攻击的效果；

（2）模型变换：引入多个相似模型，轮转地进行工作，一旦发现有模型可能被对抗样本攻破，则替换该模型，以保证正常生产或业务的进行运作；

（3）无监督学习：采用无监督的聚类方法，剔除样本学习的特征属性。

现有的生成对抗样本的本质是由于深度神经网络的高度非线性特征，以及纯粹的监督学习模型中不充分的模型平均和不充分的正则化所导致的过拟合。Ian Goodfellow在ICLR2015年的论文中，通过在一个线性模型加入对抗干扰，发现只要线性模型的输入拥有足够的维度（事实上大部分情况下，模型输入的维度都比较大，因为维度过小的输入会导致模型的准确率过低），线性模型也对对抗样本表现出明显的脆弱性，这也驳斥了关于对抗样本是因为模型的高度非线性的解释。相反深度学习的对抗样本是由于模型的线性特征。

因此，现有反对抗样本技术的缺点如下：

1）模型参数的变化，可以提高模型分类的准确率，但没法改变分类模型的线性，因此，对于对抗样本攻击没有显著防御能力；

2）由于数据本身的高度线性，攻击者可以不去渗透模型，而建立自己的模型来进行对抗攻击，因此，是否替换模型对反对抗攻击没有本质的效果；

3）无监督学习的现有技术并不成熟，无法完成实际的聚类效果。并且，即使可以，无监督学习无法加入人为特征进行定制化的分类需求。

发明内容

鉴于所述问题，本发明旨在提出一种对抗样本识别模型生成方法、验证方法及其系统。

本发明的对抗样本识别模型生成方法，其特征在于，包括下述步骤：

原模型生成步骤，根据样本的特征空间进行训练生成原模型；以及

第1对抗样本识别模型生成步骤，基于所述样本的特征空间和所述原模型进行训练生成对第1对抗样本识别模型；以及