[发明专利]一种基于对抗样本增强模型抗攻击能力的方法和系统

说明书

本申请实施例公开了一种基于对抗样本增强模型抗攻击能力的方法和系统。所述方法包括：获取目标样本；将所述目标样本输入第一模型，得到对应于所述目标样本的输出；调整所述目标样本，以降低所述目标样本的所述输出中的前N个最大的输出值，其中，所述N是正整数，所述输出值用于表征所述目标样本属于所述输出值对应类别的概率；在所述输出满足预设条件时，将调整后的所述目标样本作为对抗样本；基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力。其中，第二模型可以为用于对理赔证据图片进行识别的神经网络模型，理赔证据图片包括理赔者的个人信息图片以及理赔商品的图片。

技术领域

本申请涉及计算机技术领域，特别涉及一种基于对抗样本增强模型抗攻击能力的方法和系统。

背景技术

对抗攻击是一种可以用于测试机器学习模型的缺陷的测试方法，通过构造对抗样本输入目标模型，使得目标模型做出误判，达到攻击的效果。通过攻击可以得到关于目标模型的缺陷、性能等信息，可以为开发人员改进目标模型提供参考。

对抗攻击包括白盒攻击和黑盒攻击，若攻击者能够获知目标模型所使用的算法以及算法所使用的参数，则相应的攻击为白盒攻击，若攻击者不知道目标模型所使用的算法和参数，则对应的攻击为黑盒攻击。无论白盒攻击还是黑盒攻击，攻击者均可以通过传入任意输入观察输出。

通过攻击可以找出被攻击的模型的漏洞，进而对模型的抗攻击能力进行增强，基于此，本申请提供一种基于对抗样本增强模型抗攻击能力的方法和系统。

发明内容

本申请实施例之一提供一种基于对抗样本增强模型抗攻击能力的方法。所述基于对抗样本增强模型抗攻击能力的方法包括：获取目标样本；将所述目标样本输入第一模型，得到对应于所述目标样本的输出；调整所述目标样本，以降低所述目标样本的所述输出中的前N个最大的输出值，其中，所述N是正整数，所述输出值用于表征所述目标样本属于所述输出值对应类别的概率；在所述输出满足预设条件时，将调整后的所述目标样本作为对抗样本；基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力；其中，所述第二模型与所述第一模型相同，或者，所述第二模型是基于对所述第一模型微调得到的。

本申请实施例之一提供一种基于对抗样本增强模型抗攻击能力的系统。所述基于对抗样本增强模型抗攻击能力的系统包括：获取模块，用于获取目标样本；输入模块，用于将所述目标样本输入第一模型，得到对应于所述目标样本的输出；调整模块，用于调整所述目标样本，以降低所述目标样本的所述输出中的前N个最大的输出值，其中，所述N是正整数，所述输出值用于表征所述目标样本属于所述输出值对应类别的概率；对抗样本生成模块，用于在所述输出满足预设条件时，将调整后的所述目标样本作为对抗样本；增强模块，用于基于该对抗样本，调整第二模型，以增强所述第二模型的抗攻击能力；其中，所述第二模型与所述第一模型相同，或者，所述第一模型为预训练模型，所述第二模型是基于对所述预训练模型微调得到的。

本申请实施例之一提供一种基于对抗样本增强模型抗攻击能力的装置，包括处理器，所述处理器用于执行所述的基于对抗样本增强模型抗攻击能力的方法。

本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行所述的基于对抗样本增强模型抗攻击能力的方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的基于对抗样本增强模型抗攻击能力的系统的模块图；

图2是根据本申请一些实施例所示的基于对抗样本增强模型抗攻击能力的方法的示例性流程图；

图3是根据本申请一些实施例所示的基于对抗样本增强模型抗攻击能力的方法所包括的步骤基于对抗样本调整第二模型的示例性流程图。