[发明专利]一种基于样本判定误差的神经网络木马检测方法

说明书

本发明公开了一种基于样本判定误差的神经网络木马检测方法，主要包含两大步骤，首先利用测试数据集对模型执行一次正向传播和一次反向传播，计算出每层网络对应的节点敏感度分布；其次对每层节点敏感度分布动态设定的阈值，利用异常值挖掘算法挖掘其中的异常点，这些异常点即为待检测网络中的木马节点。本发明可以快速、有效地检测出神将网络中的木马节点，轻松应对神经网络木马攻击的威胁。

技术领域

本发明属于人工智能领域，具体涉及一种基于样本判定误差的神经网络木马检测方法，主要用于检测不可信神经网络中是否含有恶意木马节点。

背景技术

人类正在迎来人工智能(AI)时代，神经网络(NN)作为应用最广泛的AI方法之一，已在诸多现实场景中得到应用，如人脸识别、语音识别、车辆自动驾驶、控制系统、基于机器的自然语言交流和游戏等。

虽然神经网络在模式识别中表现出很强的能力，但随着网络规模的日益庞大，计算成本变得越来越高昂。对于小型公司，大量训练样本和计算资源的机器学习任务总是给自己构建的解决方案提出了很大的技术挑战。为了满足这种需求，一个功能齐全且直接可用的机器学习即服务平台将成为下一步的发展趋势。因此，随着技术的发展，神经网络等深度学习技术不再是一个封闭的自我训练和自我使用的过程，将演变成可以部分模型按需安装/卸载、多端协作的技术。训练有素的模型将像人们的日常商品一样成为消费品，它们由专业公司或个人培训、制作，由不同供应商分发，最终由用户消费，人们可以进一步共享，再训练或转售这些模型。

新技术的出现往往会伴随着新的安全问题，神经网络从根本上只是一组与特定结构相关的矩阵运算，其内部结构的意义是完全隐含的，推理或解释神经网络的结构信息是非常困难的。因此我们难以判断机器学习即服务模式中是否存在潜在的安全威胁：神经网络供应商(攻击者)可能会嵌入恶意功能，即神经网络木马。攻击者往往可以操纵原始模型，使用攻击者制作的其他数据对模型进行重新训练，从而在网络中设置一个或多个木马节点以及关联的木马触发器，称之为木马模型。木马触发器是一些特殊的输入，通常只是整体输入样本的一小部分(例如，图像中增加的一个徽标)。攻击者的目标是使木马模型在正常样本输入情况下表现与原始模型一样，而在带有木马触发器样本输入时，触发异常行为。

为了应对神经网络木马的安全威胁，本发明提出一种直接针对神经网络的检测方法。首先利用测试数据集判定的总体误差计算神经网络每层节点的敏感度分布，接着利用异常值挖掘算法，检测出其中木马节点。

发明内容

发明目的：本发明的目的在于提供一种基于样本判定误差的神经网络木马检测方法，通过检测不可信神经网络是否含有恶意木马节点，实现对神经网络木马攻击的防御。

发明内容：本发明所述的一种基于样本判定误差的神经网络木马检测方法，包括以下步骤：

(1)针对不可信神经网络F，使用测试数据集D_test执行一次模型的正向传播，使用交叉熵用作代价函数,从而获得与此数据集相对应的整体误差C；

(2)定义在不可信神经网络F中，其网络层数为L，则在第l层的第i^th个神经元上的节点敏感度为

(3)根据节点敏感度的定义，可以得到第l层中节点敏感度的分布其中n是l层上的神经元数量；

(4)将不可信神经网络F视为两种分布的叠加，即对应于正常节点的敏感度分布和对应于木马节点的敏感度分布将普通节点和木马节点的敏感度分为三种值；

(5)根据链式法则计算并计算最后一个完全连接层的节点敏感度分布

(6)根据步骤(5)的结果，利用样本i，使用第l+1层的节点敏感度分布来计算第l层的节点敏感度分布