[发明专利]通过数据分布鉴别后门神经元的方法、装置、设备及介质

说明书

本发明公开了上述通过数据分布鉴别后门神经元的方法、装置、计算机设备及存储介质，其方法实现，包括：采用原始中毒训练数据集，或者干净数据集对疑似中毒神经网络模型进行训练；获取疑似中毒神经网络模型的所有神经元，在原始中毒训练数据集上的第一激活前分布，或在干净训练数据集上的第二激活前分布；计算每个神经元对应的第一激活前分布的微分熵，或者计算每个神经元对应的第二激活前分布与BN记录的第三激活前分布之间的KL散度；根据微分熵或者KL散度，确定每一层神经元中的后门神经元，并进行剪枝。利用了中毒数据或者少量的干净数据的激活前分布的特点，完成后门神经元的剪枝，操作简单，无需额外训练后门防御方法，可以节省训练时长，提高准确率。

技术领域

本发明涉及神经网络技术领域，尤其涉及一种通过数据分布鉴别后门神经元的方法、装置、计算机设备及存储介质。

背景技术

后门攻击是一种新型的针对神经网络的投毒攻击。在经典的攻击模型中，攻击者首先对一部分训练数据进行投毒，例如，在MNIST训练图片左下角加入白色小方块触发器，再将此类中毒数据的标签定向修改至某一特定值，如修改为9。中毒数据参与训练后，所有带有触发器的图片都会被错误预测成之前修改的特定标签9。

在以下三种常见场景中，神经网络有可能会受到后门攻击：1、神经网络模型在训练过程中经常会使用第三方数据集，第三方数据集可能被投毒，导致训练完成后中毒；2、用户将代码托管至第三方平台，上传数据进行训练时，可能在训练过程中被篡改、攻击，导致用户下载的训练完成的模型中毒；3、由于数据不足以及大规模数据集训练用时过长等问题，用户可能使用第三方采用大规模数据训练好的神经网络模型，该第三方提供的神经网络模块可能为中毒模型。

为解决神经网络模型中毒问题，通常会对中毒模型进行解毒，但是现有的解毒方式，例如，对中毒模型进行微调，或者剔除异常等方式，均需要加入额外的训练，且需要大量的干净数据，但是其防御效果有限。同时，可在中毒模型训练过程中加入防御方法，例如，对梯度加噪声、引入半监督训练等方法，但是，其存在训练耗时长、模型准确率损失较大等问题。

发明内容

基于此，有必要针对上述技术问题，提供一种通过数据分布鉴别后门神经元的方法、装置、计算机设备及存储介质，以解决现有技术中存在防御效果有限，且训练耗时，模型准确度低的问题。

第一方面，提供了一种通过数据分布鉴别后门神经元的方法，包括：

采用原始中毒训练数据集，或者干净数据集对疑似中毒神经网络模型进行训练；

获取所述疑似中毒神经网络模型的所有神经元，在所述原始中毒训练数据集上的第一激活前分布，或在所述干净训练数据集上的第二激活前分布；

计算每个神经元对应的第一激活前分布的微分熵，或者计算每个神经元对应的第二激活前分布的KL散度；

根据所述微分熵或者所述KL散度，确定每一层神经元中的后门神经元，并进行剪枝。

在一实施例中，所述计算每个神经元对应的第一激活前分布的微分熵，包括：

对所述第一激活前分布进行标准化处理；

对标准化处理后的第一激活前分布，按照预设算法，计算每个神经元对应的第一激活前分布的微分熵。

在一实施例中，所述第一激活前分布为n维向量，所述对所述第一激活前分布进行标准化处理，包括：

计算所述n维向量中每一个元素的第一激活前分布均值以及标准差；

根据所述第一激活前分布均值、标准差以及预设标准化计算公式，计算所述出标准化处理后的第一激活前分布均值。

在一实施例中，所述计算每个神经元对应的第二激活前分布与BN记录的第三激活前分布之间的KL散度，包括：