[发明专利]模型的后门检测方法、装置、介质和计算设备

权利要求书

1.一种模型的后门检测方法，包括：

提供用于检测后门的材料，其中，所述材料至少包括用于检测模型是否存在后门的检测样本集以及按照预设方式提供的待检测模型，所述按照预设方式提供的待检测模型为黑盒模型；其中，所述检测样本集中的每一检测样本均标记其所属类别的标签，某一检测样本标记的所述标签与所述模型某一类别的输出相对应；

基于所述检测样本集对所述模型的每一类别的输出进行搜索，以得到针对所述模型的每一类别的输出的多个还原结果，包括：

针对每一类别的标签，分别从所述检测样本集中选取预设数量的检测样本；

分别基于预设数量的每一类别的检测样本，搜索所述模型相应类别的输出，以获取所述类别的输出的还原结果；

在进行搜索时，首先按照基于迭代的优化方法对当前的检测样本进行修改，然后采用所述待检测模型对修改后的检测样本进行识别，若输出的识别结果正确，则继续修改，直到待检测模型输出的识别结果错误为止；

其中，所述还原结果用于表征基于一个或多个同类别检测样本，使所述模型的输出结果出错的修改量；

根据所述模型的不同类别的输出的还原结果确定所述模型是否存在后门。

2.如权利要求1所述的模型的后门检测方法，其中，所述检测样本集中的任一样本均不属于训练所述模型时的训练样本集。

3.如权利要求1所述的模型的后门检测方法，其中，所述方法还包括：

提供图形用户界面以便确定用于检测后门的材料。

4.如权利要求1所述的模型的后门检测方法，其中，根据所述模型的不同类别的输出的还原结果确定所述模型是否存在后门，包括：

通过对比所述模型的不同类别的输出的还原结果确定所述模型是否存在后门。

5.如权利要求4所述的模型的后门检测方法，其中，通过对比所述模型的不同类别的输出的还原结果的L1范数确定所述模型的相应类别是否存在后门。

6.如权利要求1-5中任一项所述的模型的后门检测方法，其中，根据所述模型的不同类别的输出的还原结果确定所述模型是否存在后门之后，所述方法还包括：

根据所述模型的不同类别的输出的还原结果确定检测报告，所述检测报告至少包括以下之一：

所述模型是否存在后门的信息；

所述模型存在后门的输出类别；

所述模型未存在后门的输出类别；

攻破存在后门的模型的某一输出类别的实例样本。

7.一种模型的后门检测装置，包括：

检测准备模块，被配置为提供用于检测后门的材料，其中，所述材料至少包括用于检测模型是否存在后门的检测样本集以及按照预设方式提供的待检测模型，所述按照预设方式提供的待检测模型为黑盒模型；其中，所述检测样本集中的每一检测样本均标记其所属类别的标签，某一检测样本标记的所述标签与所述模型某一类别的输出相对应；

搜索还原模块，被配置为基于所述检测样本集对所述模型的每一类别的输出进行搜索，以得到针对所述模型的每一类别的输出的多个还原结果，包括：

样本获取单元，被配置为针对每一类别的标签，分别从所述检测样本集中选取预设数量的检测样本；

搜索还原单元，被配置为分别基于预设数量的每一类别的检测样本，搜索所述模型相应类别的输出，以获取所述类别的输出的还原结果；

所述搜索还原单元在进行搜索时，首先按照基于迭代的优化方法对当前的检测样本进行修改，然后采用所述待检测模型对修改后的检测样本进行识别，若输出的识别结果正确，则继续修改，直到待检测模型输出的识别结果错误为止；

其中，所述还原结果用于表征基于一个或多个同类别检测样本，使所述模型的输出结果出错的修改量；

后门确定模块，被配置为根据所述模型的不同类别的输出的还原结果确定所述模型是否存在后门。

8.如权利要求7所述的模型的后门检测装置，其中，所述检测样本集中的任一样本均不属于训练所述模型时的训练样本集。