[发明专利]识别对抗样本以保护模型安全的方法及装置

说明书

本说明书实施例提供一种识别对抗样本以保护隐私安全的方法，该方法包括：首先，对涉及隐私数据的多个非对抗样本进行采样，得到第一对照样本集；接着，向第一对照样本集中加入待检测的目标样本，得到第一实验样本集；然后，分别利用第一对照样本集和第一实验样本集对初始机器学习模型进行训练，得到训练后的第一对照模型和第一实验模型；再接着，利用测试样本集分别对第一对照模型和第一实验模型进行性能评估，得到针对预设评估指标的第一对照值和第一实验值；再然后，计算第一对照值和第一实验值的差值，作为目标样本针对模型性能的第一增益值。由此，可以基于第一增益值或重复上述流程而得到的多个增益值，判别目标样本是否为对抗样本。

技术领域

本说明书一个或多个实施例涉及数据计算安全的技术领域，尤其涉及一种识别对抗样本以保护模型安全的方法及装置。

背景技术

对抗样本是指在数据集中故意添加细微的干扰所形成的，导致机器学习模型以高置信度输出错误结果的输入样本。例如，在图像识别场景下，原来被图像处理模型识别为熊猫的图片，在加入一点细微的甚至人眼无法察觉的改动后，被误分类为长臂猿。

对抗样本可以被攻击者用于对机器学习模型进行攻击。比如，在模型训练过程中，因对抗样本中包括错误的标签，导致模型训练性能下降，并且，导致训练完成所得到模型的预测结果准确率偏低。

因此，迫切需要一种合理、可靠的方案，可以准确地识别出对抗样本，以保护模型安全，从而提高模型的训练性能和预测性能。

发明内容

本说明书一个或多个实施例描述了一种识别对抗样本以保护模型安全的方法及装置，可以用于提高模型的训练性能和预测性能。

根据第一方面，提供一种识别对抗样本以保护模型安全的方法，该方法包括：对多个非对抗样本进行若干次采样，得到若干对照样本集；向所述若干对照样本集中分别加入待检测的目标样本，得到若干实验样本集；针对所述若干对照样本集中任意的第一对照样本集，利用所述第一对照样本集训练初始机器学习模型，得到训练后的第一对照模型；利用测试样本集对所述第一对照模型进行性能评估，得到针对预设评估指标的第一对照值，所述测试样本集基于所述多个非对抗样本而确定；针对向所述第一对照样本集中加入所述目标样本而得到的第一实验样本集，利用所述第一实验样本集训练所述初始机器学习模型，得到训练后的第一实验模型；利用所述测试样本集对所述第一实验模型进行性能评估，得到针对所述预设评估指标的第一实验值；将所述第一实验值与所述第一对照值的差值，确定为第一增益值；利用基于所述若干对照样本集和所述若干实验样本集确定出的若干增益值，判定所述目标样本是否属于对抗样本。

在一个实施例中，所述多个非对抗样本和目标样本为图像样本，所述初始机器学习模型为图像处理模型；或，所述多个非对抗样本和目标样本为文本样本，所述初始机器学习模型为文本处理模型；或，所述多个非对抗样本和目标样本为语音样本，所述初始机器学习模型为语音处理模型。

在一个实施例中，多个非对抗样本进行若干次采样，得到若干对照样本集，包括：利用枚举法，对所述多个非对抗样本进行多次采样，得到多个对照样本集；或，利用分层采样法，对所述多个非对抗样本进行若干次采样，得到所述若干对照样本集；或，利用自助采样法，对所述多个非对抗样本进行若干次采样，得到所述若干对照样本集。

在一个实施例中，所述预设评估指标包括以下中的一种或多种：错误率、精度、查全率、查准率。

在一个实施例中，利用基于所述若干对照样本集和所述若干实验样本集确定出的若干增益值，判定所述目标样本是否为对抗样本，包括：确定所述若干增益值的增益均值，并且，在所述增益均值小于设定阈值的情况下，判定所述目标样本属于对抗样本；或，确定所述若干增益值中大于设定阈值的增益比例，并且，在所述增益比例小于第一预设比例的情况下，判定所述目标样本属于对抗样本。