[发明专利]一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法

说明书

本发明公开了一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，通过在遗忘用户本地数据集中随机筛选部分样本，进行数据增广，利用对抗样本生成方法在增广后的数据上微调生成对抗样本。将本地模型在这些对抗样本和原有的本地数据上进行对抗训练，生成更加鲁棒的嵌入水印后的本地模型上传给中心服务器聚合。遗忘用户通过黑盒访问接下来若干个周期的全局模型，根据全局模型在这些对抗样本上的输出提取水印，验证遗忘情况。本发明方法具有鲁棒性强，验证效果好，对于数据分布依赖小，黑盒访问全局模型避免公平性问题，对于遗忘验证结果提供理论保证等优点，可以有效鉴别遗忘与否，能够广泛应用和部署在各种需要进行遗忘验证的场景中。

技术领域

本发明涉及联邦学习数据遗忘验证领域，具体涉及一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法。

背景技术

联邦学习是一种分布式保隐私的新型学习框架，所有参与者可以实现在数据保留在本地的前提下，只需贡献相应的模型更新就可以共同训练一个强大的模型，在一定程度上保护了用户的隐私。但同时，作为一个实时更新，多人参与的学习框架，联邦学习面临着一个严峻的问题，即当之前参与学习的用户提出离开联邦时，应切实删除他们的私人数据，保证不再使用。这种做法可以进一步缓解用户的担忧，提升用户对于联邦学习的信任度。已经有一些数据法案明确规定了用户享有数据遗忘权，例如通用数据保护法规(GDPR)和加州消费者隐私法(CCPA)等。国外的一些大型互联网企业(谷歌和苹果)也在日渐严苛的法律要求下开始落实对于数据遗忘权的保护措施。学术圈已有一些关于主动遗忘的工作，包括重训练等。然而，如何执行具体的遗忘操作不是遗忘用户真正关心的，用户所关心的是是否提供了可以量化的验证手段检查服务器端是否切实执行了一些有效的遗忘方法。然而联邦学习中的遗忘验证不能通过简单的遗忘用户的个人数据上的性能判断，因为联邦学习是一种分布式协作学习框架，个人退出对于大规模联邦学习的影响较小，其他人的贡献使得联邦学习的全局模型依然能在遗忘用户的个人数据上维持较好的性能。同时，考虑到验证遗忘时，需要接触全局模型，而此时的全局模型已经不再是由遗忘用户贡献的，因此遗忘用户不应该再以白盒的方式访问全局模型，这会引发公平性问题。服务器也可能采取一些适应性手段来欺骗遗忘验证方法。因此，如何设计一种安全鲁棒的黑盒场景下的联邦遗忘验证算法以高效可靠可信地验证服务器端的遗忘情况，是目前有效验证数据遗忘权是否被正常提供的一大难题。

一种有效验证联邦学习中的数据遗忘的可能解决方案是以某种方式标记遗忘用户，并检查该遗忘用户离开后标记是否被清除。潜在的假设是，标记可以有效地唯一标记该遗忘用户。完整的验证过程分为两个阶段：标记和检查。联邦遗忘验证中的标记功能需要一些特定的特征，包括专一性(特定属于离开用户)、持久性(持久验证遗忘)、鲁棒性(针对服务器端采用的一些适应性的试图欺骗遗忘验证方法的手段)等。针对每种标记方法，检查全局模型在标记/验证数据上的性能，评估服务器端是否切实执行了相应的遗忘措施。

发明内容

针对现有联邦学习遗忘验证的匮乏，本发明公开了一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，该方法利用被遗忘的模型在对抗样本上的鲁棒性能来形成特定的水印标记遗忘用户和验证遗忘情况。

本发明的目的是通过以下技术方案来实现的：一种联邦学习中在黑盒场景下基于对抗样本的鲁棒水印遗忘验证方法，该方法利用被遗忘的模型在对抗样本上的鲁棒性能来形成特定的水印标记遗忘用户和验证遗忘情况，该方法包括数据自动筛选阶段、数据增广阶段、对抗样本生成阶段、对抗训练阶段、以及检查遗忘阶段；

所述数据自动筛选阶段，随机筛选出遗忘用户本地数据集S中的固定比例的数据集S1；

所述数据增广阶段，对S1中的数据进行基础的数据增广，包括切换视角、随机模糊、色彩抖动和随机旋转，形成增广后的数据集S2；

所述对抗样本生成阶段，利用对抗样本生成算法微调S2中的增广数据生成对应的对抗样本，这些对抗样本在人眼看上去与正常样本差别不大，但输入到模型中将得到完全不同的输出；将这些对抗样本和它们正确的类别组合得到验证数据集S3；