[发明专利]基于敏感神经元的深度学习模型蒸馏中毒防御方法与装置

说明书

本发明公开了一种基于敏感神经元的深度学习模型蒸馏中毒防御方法与装置，本发明利用中毒模型中的敏感神经元的梯度反向传播去更新输入样本从而生成中毒样本，再利用中毒样本与原始样本在模型中前向传播时激活神经元的差异，找到top‑K的异常神经元并调整再进行蒸馏操作，从而达到模型蒸馏中毒防御的效果。本发明方法具有良好的适用性，能够有效的防御中毒攻击，并且不影响模型蒸馏后正常样本的正确率。

技术领域

本发明属于面向深度学习模型的安全问题领域，具体涉及一种基于敏感神经元的深度学习模型蒸馏中毒防御方法与装置。

背景技术

深度学习(DL,Deep Learning)是机器学习(ML,Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。随着深度学习的发展，使得深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。

但于此同时，性能的提升也导致了深度学习模型的复杂度越来越高，带来了高额的存储空间、计算资源消耗，使其很难落实到各个硬件平台。为了解决问题，人们使用了模型压缩技术来最大限度地减小模型对于计算空间和时间的消耗。

深度学习模型的压缩主要分为剪枝(在预训练好的大型模型的基础上,将权重矩阵中相对不重要的权值剔除，然后再重新精修(finetune)网络进行微调)，量化(较低位宽表示典型的32位浮点网络参数,网络参数包括权重、激活值、梯度和误差等)，低秩分解(通过合并维数和施加低秩约束的方式稀疏化卷积核矩阵)和知识蒸馏(教师模型指导学生模型训练,采用预训练好的复杂模型的输出作为监督信号去训练另外一个简单的网络。将知识迁移到学生模型中,使学生模型达到与教师模型相当的性能)。其中由于知识蒸馏的可迁移性好，所以神经网络的知识蒸馏被广泛运用于降低模型的计算和存储成本上，从而促进模型在边缘端的高效部署。

随着模型的日益发展，针对模型的中毒攻击也在发展。中毒攻击发生在模型训练阶段，攻击者将中毒样本注入训练数据集，从而在训练完成的深度学习模型中嵌入后门触发器，在测试阶段输入毒药样本，则触发攻击爆发。

然而现有的神经网络知识蒸馏的方法专注于模型的识别精度以及可迁移性，忽略了模型在应用于边缘端时存在中毒的风险。一个被植入后门的模型在蒸馏之后仍然会保留中毒效果。当知识蒸馏被应用于现实场景的边缘设备中，例如自动驾驶，模型的错误识别导致行车大脑的决策失误会带来重大的安全隐患，所以这种潜在的风险不容忽视。

因此，我们在拿到一个模型做知识蒸馏之前，首先要对此模型进行祛毒操作。具体来说，我们拿一张干净样本以及对应的中毒样本输入到模型中，寻找全连接层输出的差异的Top-K的神经元摘除，这样可以达到在保证主任务分类准确率的基础上去除中毒的效果。我们发现中毒攻击都是攻击睡眠神经元(主任务分类上不激活的神经元)，那么被下毒的这些神经元就会变成相对于中毒样本的敏感神经元，利用这些神经元对中毒样本的敏感性去反向生成中毒样本。我们利用干净的测试样本X输入到模型中，将输出中激活值最大的Top-k神经元进行累加，构成损失函数，通过对损失函数梯度上升作为导向对原始图像的像素值进行改变去更新这张样本X，再进行下一轮迭代，直到激活值最大的Top-k神经元稳定下来，迭代结束。此时，测试样本被更新成了中毒样本。利用生成的中毒样本以及原始样本去寻找全连接层的差异Top-K神经元并摘除即可。

发明内容

为了保证在常用的模型压缩方法蒸馏之后模型具有无毒性，本发明提供了一种基于敏感神经元的深度学习模型蒸馏中毒防御方法与装置。利用敏感神经元梯度反向传播去还原中毒样本，在利用干净/中毒样本对在模型中正向传播寻找全连接层的差异神经元top-K并摘除，即可达到模型祛毒的效果。

本发明的技术方案如下：一种基于敏感神经元的深度学习模型蒸馏中毒防御方法，包括以下步骤：