[发明专利]针对人工智能模型的后门攻击防御系统

说明书

一种针对人工智能模型的后门攻击防御系统，包括：模型预检测模块和实时防御模块，其中：模型预检测模块扫描待测图像分类模型中：是否对本地文件进行读取或修改的操作行为以及每一层输出的数据，以判断该模型是否包含后门；实时防御模块通过对含有触发器的图片进行添加滤镜，使得图像分类模型中的后门无效。本发明能够应用于图像分类，图像识别领域的模型，对模型加强防御进而提升深度学习领域的安全性能。

技术领域

本发明涉及的是一种信息安全领域的技术，具体是一种针对人工智能模型的后门攻击防御系统。该技术可应用于工业领域中图像领域的人工智能模型的防护，例如图片分类，人脸识别，自动驾驶等。

背景技术

对正常的人工智能模型添加或改变神经元，就可以将其变为含有后门的模型。一旦输入的图片含有触发后门的触发器，深度学习模型不仅会输出分类结果，还会执行模型的恶意神经元，对本地系统造成损害。针对此种类的后门攻击，目前缺乏有效的防御手段。经测试，主流的杀毒软件如诺顿，卡巴斯基，迈克菲等无法识别出模型是否含有后门。

发明内容

本发明针对现有技术的上述不足和缺陷，提出一种针对人工智能模型的后门攻击防御系统，针对后门模型中恶意神经元的特性以及后门需触发器激活两个特点，既可以对人工智能模型进行预检测判断是否为后门模型，又可以在模型运行阶段使触发器无效从而开展防护，能够应用于图像分类，图像识别领域的模型，对模型加强防御进而提升深度学习领域的安全性能。

本发明是通过以下技术方案实现的：

本发明涉及一种针对人工智能模型的后门攻击防御系统，包括：模型预检测模块和实时防御模块，其中：模型预检测模块扫描待测图像分类模型中：①是否对本地文件进行读取或修改的操作行为以及②每一层输出的数据，以判断该模型是否包含后门；实时防御模块通过对含有触发器的图片进行添加滤镜，使得图像分类模型中的后门无效。

所述的模型预检测模块包括：关键词库单元、扫描差异单元以及扫描结果分析单元，其中：关键词库单元根据模型所运行操作系统的信息，添加关键词，得到关键词库；扫描差异单元根据关键词库和模型输入的图像，进行模型扫描处理，得到模型扫描结果；扫描结果分析单元根据模型扫描结果信息，进行分析处理，判定该模型是否为后门模型。

所述的实时防御模块包括：滤镜单元和模型运行单元，其中：滤镜单元对模型输入的图像上添加滤镜处理；模型运行单元根据添加滤镜后的图像得到分类结果。

本发明涉及一种基于上述系统的针对人工智能模型的后门攻击防御方法，包括以下步骤：

步骤一、根据人工智能模型后门攻击原理，即恶意篡改系统文件，在正常人工智能模型基础上构造出后门模型，并在数据集上选取若干图像添加触发器用于激活后门。

步骤二、通过模型预检测模块对步骤一中的后门模型进行扫描，根据扫描结果的差异来判断模型是否含有后门：当扫描出模型含有关键词库中的关键字或者输入在经由某一模型层前后未发生改变，判断模型存在植入后门风险。

步骤三、根据模型后门需要触发器激活的特点，在模型运行阶段把图片上的触发器通过图像滤镜算法修改至无法触发模型后门，同时不影响模型的正常分类，从而实现实时防御。

所述的深度学习模型为卷积神经网络。

所述的模型后门是指：构造模型时特意修改或者添加的恶意神经元，恶意神经元对触发器高度敏感，检测到触发器时，执行内嵌的恶意代码对系统文件修改。由此造成的后果包括但不限于恶意用户远程登录，网站挟持攻击。

所述的触发器是指：输入的图片具有特定的特征，具备该特征的输入可以触发模型的后门，使模型不仅输出分类结果，还可能执行模型中的恶意代码，危害本地系统。