[发明专利]一种生成攻击样本的方法和系统

说明书

本说明书实施例公开了一种生成攻击样本的方法及系统，包括：获取第一样本集，将第一样本集作为目标模型的测试数据；使用第一样本集，获取重要特征；从第一样本集中选取至少一条样本作为原始样本，并基于原始样本和重要特征，构造第二样本集；其中，第二样本集包括正第二样本和负第二样本；将第二样本集输入目标模型，基于目标模型输出的结果，确定扰动特征；其中，扰动特征包括正扰动特征和负扰动特征，扰动特征由重要特征中的至少一个组成；使用扰动特征构造攻击样本；攻击样本用于攻击目标模型，从而根据攻击结果确定目标模型的鲁棒性，判断目标模型是否可以抵御数据中毒，保护个人数据。

技术领域

本说明书涉及对抗机器学习领域，特别涉及一种生成针对输入为离散特征的模型的攻击样本的方法和系统。

背景技术

目前，机器学习已经广泛应用于各行各业，承载着大量国计民生的重要应用，例如信息检索、金融支付、智能驾驶和智能安防等。然而，这些机器学习模型天然携带着容易被“攻击”的漏洞。如果模型不能抵御攻击样本的攻击，甚至会威胁资金安全和公共安全。通常把机器学习模型抵御攻击样本的能力称为机器学习模型的鲁棒性。如何测试和提高机器学习模型的鲁棒性尤为重要。目前此项研究在学术界和工业界还处于比较初期的探索阶段，大部分算法是针对输入为连续特征的模型。

因此需要一种基于输入为离散、稀疏特征的模型的黑盒攻击算法，用于生成攻击样本，评估模型的鲁棒性。

发明内容

本说明书实施例之一提供一种生成攻击样本的方法。所述方法包括：

获取第一样本集，将所述第一样本集作为目标模型的测试数据；使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；将所述第二样本集输入所述目标模型，基于所述目标模型输出的分数，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。

本说明书实施例之一提供一种生成攻击样本的系统，所述系统包括：

第一获取模块，用于获取第一样本集，将所述第一样本集作为目标模型的测试数据；第二获取模块，用于使用所述第一样本集，获取重要特征；其中，所述重要特征为对目标模型测试结果的影响超过预设影响阈值的特征，所述重要特征包括正重要特征和负重要特征；第一构造模块，用于从所述第一样本集中选取至少一条样本作为原始样本，并基于所述原始样本和所述重要特征，构造第二样本集；其中，所述第二样本集包括正第二样本和负第二样本；扰动特征确定模块，用于将所述第二样本集输入所述目标模型，基于所述目标模型输出的结果，确定扰动特征；其中，所述扰动特征包括正扰动特征和负扰动特征，所述扰动特征由所述重要特征中的至少一个组成；第二构造模块，用于使用所述扰动特征构造攻击样本；其中，所述攻击样本用于攻击所述目标模型。

本说明书实施例之一提供一种生成攻击样本的装置，包括：

所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现生成攻击样本的方法。

附图说明

本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本说明书一些实施例所示的生成攻击样本的系统的模块图；

图2是根据本说明书一些实施例所示的生成攻击样本的方法的示例性流程图；