[发明专利]一种基于对抗样本增强模型抗攻击能力的方法和系统

说明书

本说明书实施例公开了一种基于对抗样本增强模型抗攻击能力的方法和系统，所述方法包括：获取目标样本的集合；将所述集合中的每一所述目标样本输入目标模型，得到与所述目标样本对应的第一输出；在所述第一输出大于或等于输出阈值时，将所述目标模型的所述第一输出对应的标签作为所述目标样本的目标标签；利用所述目标样本的集合和所述目标样本对应的所述目标标签训练替代模型；将候选样本输入所述替代模型，得到对应于所述候选样本的第二输出，并基于该第二输出调整所述候选样本以得到对抗样本；基于该对抗样本，调整所述目标模型。其中，目标模型可以为用于对图片进行识别的神经网络模型，所述图片包括个人信息图片。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及一种基于对抗样本增强模型抗攻击能力的方法和系统。

背景技术

对抗攻击是一种可以用于测试机器学习模型的缺陷的测试方法，通过构造对抗样本输入目标模型，使得目标模型做出误判，达到攻击的效果。通过攻击可以得到关于目标模型的缺陷、性能等信息，可以为开发人员改进目标模型提供参考。

对抗攻击包括白盒攻击和黑盒攻击，若攻击者能够获知目标模型所使用的算法以及算法所使用的参数，则相应的攻击为白盒攻击，若攻击者不知道目标模型所使用的算法和参数，则对应的攻击为黑盒攻击。无论白盒攻击还是黑盒攻击，攻击者均可以通过传入任意输入观察输出。

通过攻击可以找出被攻击的模型的漏洞，进而对模型的抗攻击能力进行增强，基于此，本申请提供一种基于对抗样本增强模型抗攻击能力的方法和系统。

发明内容

本说明书实施例的一个方面提供一种基于对抗样本增强模型抗攻击能力的方法，其中，所述方法包括：获取目标样本的集合；将所述集合中的每一所述目标样本输入目标模型，得到与所述目标样本对应的第一输出，所述第一输出用于表征该第一输出对应的标签的置信度；在所述第一输出大于或等于输出阈值时，将所述目标模型的所述第一输出对应的标签作为所述目标样本的目标标签；利用所述目标样本的集合和所述目标样本对应的所述目标标签训练替代模型；将候选样本输入所述替代模型，得到对应于所述候选样本的第二输出，并基于该第二输出调整所述候选样本以得到对抗样本；基于该对抗样本，调整所述目标模型，以增强所述目标模型的抗攻击能力。

本说明书实施例的一个方面提供一种基于对抗样本增强模型抗攻击能力的系统，所述系统包括：获取模块，用于获取目标样本的集合；输入模块，将所述集合中的每一所述目标样本输入目标模型，得到与所述目标样本对应的第一输出，所述第一输出用于表征该第一输出对应的标签的置信度；标签调整模块，用于在所述第一输出大于或等于输出阈值时，将所述目标模型的所述第一输出对应的标签作为所述目标样本的目标标签；训练模块，用于利用所述目标样本的集合和所述目标样本对应的所述目标标签训练替代模型；对抗样本生成模块，用于将候选样本输入所述替代模型，得到对应于所述候选样本的第二输出，并基于该第二输出调整所述候选样本以得到对抗样本；增强模块，用于基于该对抗样本，调整所述目标模型，以增强所述目标模型的抗攻击能力。

本说明书实施例的一个方面提供一种基于对抗样本增强模型抗攻击能力的装置，包括处理器，所述处理器用于执行如上所述的任一项基于对抗样本增强模型抗攻击能力的方法。

本说明书实施例的一个方面提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上所述的任一项基于对抗样本增强模型抗攻击能力的方法。

附图说明

本说明书将以示例性实施例的方式进一步描述，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书的一些实施例所示的基于对抗样本增强模型抗攻击能力的系统的示例性模块图；

图2是根据本说明书的一些实施例所示的基于对抗样本增强模型抗攻击能力的方法的示例性流程图；