[发明专利]基于敏感神经元的深度学习模型蒸馏中毒防御方法与装置

权利要求书

1.一种基于敏感神经元的深度学习模型蒸馏中毒防御方法，其特征在于，包括以下步骤：

(1)选择图像数据集作为干净样本，构建深度学习网络；

(2)选取中毒方法，对步骤(1)获取的图像数据集进行中毒操作，得到中毒样本并训练深度学习网络得到中毒模型；

(3)将步骤(1)获取的干净样本输入步骤(2)训练好的中毒模型中，构建损失函数，通过对损失函数梯度上升作为导向对图像数据集的像素值进行改变，经过S轮迭代生成中毒样本；

(4)将步骤(1)得到的干净样本和步骤(3)迭代得到的中毒样本组成样本对，将该样本对输入步骤(2)训练得到中毒模型；统计每一样本对的全连接层的差异神经元Top-K，再计算全连接层上的神经元的统计频率Top-K，即统计异常神经元N_k；

(5)构建学生模型S和教师模型T，摘除中毒模型中的异常神经元，计算干净样本在学生模型S和教师模型T的全连接层的输出，构建学生模型S的损失函数，调整教师模型T，再对调整后的教师模型T进行蒸馏。

2.根据权利要求1所述的基于敏感神经元的深度学习模型蒸馏中毒防御方法，其特征在于，所述图像数据集为MNIST，CIFAR10，ImageNet，GTSRB或CASIA图像数据集中的一种。

3.根据权利要求1所述的基于敏感神经元的深度学习模型蒸馏中毒防御方法，其特征在于，所述深度学习网络为LeNet，AlexNet，VGG11或ResNet34网络中的一种。

4.根据权利要求1所述的基于敏感神经元的深度学习模型蒸馏中毒防御方法，其特征在于，所述步骤(2)中的中毒方法为BadNets，PoisonFrog，Trojannn或Feature CollisionAttack中毒方法中的一种。

5.根据权利要求1所述的基于敏感神经元的深度学习模型蒸馏中毒防御方法，其特征在于，所述步骤(3)具体包括以下子步骤：

(3.1)构建损失函数：将干净样本输入到训练好的中毒模型中，并计算干净样本在中毒模型的全连接层的输出M_fc(x_i)，其中x_i∈X,i＝1,2,...；将输出中激活值最大的Top-k神经元进行累加，构成损失函数：

TK_FC(X)＝Σmax_k(M_fc(x_i))

其中，λ表示平衡参数；max_k(·)表示该层激活值最大的k个输出。

(3.2)更新输入样本：通过对损失函数梯度上升作为导向对原始图像的像素值进行改变：

x'＝x+s*grad

其中s为迭代步长。

改变图像的像素值时需满足：

其中，x表示原始图像；x’表示改变像素值后的图像；L0表示已更改像素的最大数量；L∞表示像素更改的最大值；size(x)是图像中0x的像素数量；0α,β1。