[发明专利]基于神经网络中间层正则化的黑盒攻击型防御系统及方法有效
申请号: | 202011281842.0 | 申请日: | 2020-11-16 |
公开(公告)号: | CN112464230B | 公开(公告)日: | 2022-05-17 |
发明(设计)人: | 李晓锐;崔炜煜;王文一;陈建文 | 申请(专利权)人: | 电子科技大学 |
主分类号: | G06F21/55 | 分类号: | G06F21/55;G06N3/04;G06N3/08 |
代理公司: | 成都弘毅天承知识产权代理有限公司 51230 | 代理人: | 谢建 |
地址: | 611731 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 神经网络 中间层 正则 黑盒 攻击 防御 系统 方法 | ||
本发明涉及人工智能安全领域,具体是基于神经网络中间层正则化的黑盒攻击型防御系统,包括第一源模型、第二源模型和第三源模型;基于神经网络中间层正则化的黑盒攻击型防御方法,包括S1、将图片输入第一源模型进行白盒攻击,输出第一对抗样本序列,S2、将第一对抗样本序列输入到第二源模型中,输出第二对抗样本序列,S3、将第二对抗样本序列输入到第三源模型中进行黑盒攻击,输出第三识别样本序列,S4、将第三识别样本序列输入第三源模型进行对抗训练,更新第三源模型;利用该算法生成的对抗样本具有对目标模型高迁移性的特性,也可以有效的通过对抗训练防御目标模型被攻击。
技术领域
本发明涉及人工智能安全领域,具体是指基于神经网络中间层正则化的黑盒攻击型防御系统及方法。
背景技术
当对图像信号添加微小扰动,被添加扰动的图像信号输入用于分类任务的卷积神经网络时,会被该网络识别错误,该技术应用广泛,在车辆检测系统中,通过对车牌号图像进行微小扰动的方式欺骗车辆检测系统,有助于提升车辆检测系统鲁棒性和稳健性;在人脸识别检测系统中,通过对人脸图像进行微小扰动的方式欺骗人脸识别检测系统,有助于检验人脸识别网络的鲁棒性和安全性;在无人驾驶系统中,通过对路标图像进行微小扰动的方式欺骗自动驾驶系统,有助于检验机器视觉中物体分类和目标检测网络的稳健性和安全性,随着5G时代的到来,图像视频数据将成为主流网络数据,神经网络攻击生成图像对抗样本技术,在网络对抗领域扮演关键角色,对防御算法性能的提升有着重要作用。
现在比较常见的攻击方式为黑盒攻击和白盒攻击,其中黑盒攻击分为基于迁移性的训练替代模型攻击方式,以及基于决策的多次查询估计梯度攻击方式,二者在生成接近黑盒模型的替代模型后和估计接近黑盒模型梯度后,利用主流的白盒攻击的方法来进行攻击,前者在训练替代模型时多数需要得知被攻击模型的训练数据集,以及输入输出等除模型内部参数以外的众多信息,而这些信息特别是训练数据集在实际应用中是很难得知的,或者是被限制获取数量的,所以通过以上方式生成替代模型的方法在很多情况下是有所限制的,后者通过对对抗模型多次进行查询输入输出并且估计梯度,当查询次数足够多时估计得到的梯度将接近对抗模型的真实梯度以获得决策边界,但是该方法的问题是当多次查询带来的计算复杂度,同时在限制查询次数的黑盒模型中无法得到进展,从而严重影响了黑盒攻击的效率。
发明内容
基于以上问题,本发明提供了基于神经网络中间层正则化的黑盒攻击型防御系统及方法,该攻击算法不需生成替代模型,也无需获取查询黑盒模型的数据集及对应标签,便可对黑盒模型进行攻击,在图像分类任务中,利用该算法生成的对抗样本具有对目标模型高迁移性的特性,也可以有效的通过对抗训练防御目标模型被攻击。
为解决以上技术问题,本发明采用的技术方案如下:
基于神经网络中间层正则化的黑盒攻击型防御系统,包括
第一源模型,用于输出第一对抗样本序列;
第二源模型,用于输出第二对抗样本序列;
第三源模型,用于输出第三识别样本序列,并将第三识别样本序列输入第三源模型进行对抗训练,更新第三源模型。
进一步,所述第一源模型和第二源模型采用以残差模块为基础的ResNet网络,第三源模型采用DenseNet网络,所述第二源模型划分不同的神经网络结构层,所述第二源模型的每一层均加入正则化损失函数。
基于神经网络中间层正则化的黑盒攻击型防御方法,采用基于神经网络中间层正则化的黑盒攻击型防御系统,包括
S1、将图片输入第一源模型进行白盒攻击,输出第一对抗样本序列;
S2、将第一对抗样本序列输入到第二源模型中,在第二源模型的每一层均利用正则化损失函数对第一对抗样本序列进行攻击,输出第二对抗样本序列;
S3、将第二对抗样本序列输入到第三源模型中进行黑盒攻击,输出第三识别样本序列;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于电子科技大学,未经电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011281842.0/2.html,转载请声明来源钻瓜专利网。