[发明专利]针对人工智能模型的后门攻击防御系统

权利要求书

1.一种针对人工智能模型的后门攻击防御系统，其特征在于，包括：模型预检测模块和实时防御模块，其中：模型预检测模块扫描待测图像分类模型中：①是否对本地文件进行读取或修改的操作行为以及②每一层输出的数据，以判断该模型是否包含后门；实时防御模块通过对含有触发器的图片进行添加滤镜，使得图像分类模型中的后门无效；

所述的模型后门是指：构造模型时特意修改或者添加的恶意神经元，恶意神经元对触发器高度敏感，检测到触发器时，执行内嵌的恶意代码对系统文件修改，由此造成的后果包括但不限于恶意用户远程登录，网站挟持攻击；

所述的触发器是指：输入的图片具有特定的特征，具备该特征的输入以触发模型的后门。

2.根据权利要求1所述的针对人工智能模型的后门攻击防御系统，其特征是，所述的模型预检测模块包括：关键词库单元、扫描差异单元以及扫描结果分析单元，其中：关键词库单元根据模型所运行操作系统的信息，添加关键词，得到关键词库；扫描差异单元根据关键词库和模型输入的图像，进行模型扫描处理，得到模型扫描结果；扫描结果分析单元根据模型扫描结果信息，进行分析处理，判定该模型是否为后门模型。

3.根据权利要求1所述的针对人工智能模型的后门攻击防御系统，其特征是，所述的实时防御模块包括：滤镜单元和模型运行单元，其中：滤镜单元对模型输入的图像上添加滤镜处理；模型运行单元根据添加滤镜后的图像得到分类结果。

4.一种基于权利要求1～3中任一所述系统的针对人工智能模型的后门攻击防御方法，其特征在于，包括以下步骤：

步骤一、根据人工智能模型后门攻击原理，即恶意篡改系统文件，在正常人工智能模型基础上构造出后门模型，并在数据集上选取若干图像添加触发器用于激活后门；

步骤二、通过模型预检测模块对步骤一中的后门模型进行扫描，根据扫描结果的差异来判断模型是否含有后门：当扫描出模型含有关键词库中的关键字或者输入在经由某一模型层前后未发生改变，判断模型存在植入后门风险；

步骤三、根据模型后门需要触发器激活的特点，在模型运行阶段把图片上的触发器通过图像滤镜算法修改至无法触发模型后门，同时不影响模型的正常分类，从而实现实时防御。

5.根据权利要求4所述的针对人工智能模型的后门攻击防御方法，其特征是，所述的深度学习模型为卷积神经网络。

6.根据权利要求4所述的针对人工智能模型的后门攻击防御方法，其特征是，所述的分类是指：深度学习模型对于单张输入图像的预测分类结果，该结果用向量表示为p＝[p₁，p₂，p₃，...]，其中的每一个分量代表输入图像在每一个类别的预测概率。

7.根据权利要求4所述的针对人工智能模型的后门攻击防御方法，其特征是，所述的模型扫描是指：将训练好的深度学习模型进行解构以及字段匹配，具体包括：

①F(x)＝～f(x)_layerf(x)_match；

②f(x)_layer＝|layer(x)₂–layer(x)₁||layer(x)₃–layer(x)₂|…；

③f(x)_match＝match(keyword)₁||match(keyword)₂||…

其中x代表输入图片，f(x)_layer是模型逐层扫描差异函数，f(x)_match是模型静态扫描差异函数,layer(x)_i代表经过模型后处理后第i层的输出，|·|代表对两个分类结果(概率向量)求欧几里得距离，match(keyword)_i代表对模型使用关键字keyword_i进行的二进制匹配。

8.根据权利要求4所述的针对人工智能模型的后门攻击防御方法，其特征是，所述的图像滤镜算法包括：高斯模糊算法和中值模糊算法。