[发明专利]一种基于联邦蒸馏学习框架的客户端成员推理攻击方法

权利要求书

1.一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，其特征在于，包括以下步骤：

(1)基于联邦学习框架，采用知识蒸馏技术和随机客户端选取技术，减少联邦学习的通讯开销和隐私泄露；

(2)基于增强的联邦学习知识蒸馏框架，进行参与者隐私泄露程度的分析；

(3)根据联邦学习知识蒸馏框架中存在的本地模型成员信息泄露问题，建立客户端级别的成员推理攻击模型；

(4)根据客户端级别的成员推理攻击模型，建立完整的联邦蒸馏学习成员隐私泄露评估模型。

2.根据权利要求1所述的一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，其特征在于，所述步骤(1)实现过程如下：

首先设定参与联邦学习的本地客户端模型和客户端私有数据集，所有参与者的本地模型为异构模型，本地模型的内部结构和细节以及本地私有数据集都不相同，然后联邦通讯算法选取知识蒸馏技术作为客户端模型的优化训练算法以替代存在梯度泄露问题的模型梯度参数训练算法，即将模型梯度参数转化成逻辑层参数，本地客户端模型优化方法由梯度优化转变成逻辑层参数优化，以此实现更高的模型性能和更少通讯开销的联邦学习框架。

3.根据权利要求1所述的一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，其特征在于，步骤(2)所述的改进的联邦学习知识蒸馏框架为：

联邦学习知识蒸馏框架设定有m个参与者，每个参与者拥有独立同分布或者非独立同分布的本地私有数据集其中k代表私有数据，N代表第N个客户端，i代表数据集中的第i条数据记录，x代表一行记录中的数据样本，y代表一行记录中的标签；在服务器端保存有公共训练集D_public代表中央服务器提供给所有客户端可获得的公共训练集；每个客户端参与者都独立地设计他们的模型f_k来实现各自的数据预测分类任务；知识蒸馏增强通讯协议下的客户端参与者之间不再共享模型参数，而是共享与标准训练数据集D_public对应的模型输出逻辑层参数；

首先，每个客户端使用迁移学习技术在公共训练数据集D_public上对各自的私有模型进行预训练，然后在其本地私有数据集D_k上进行修订训练；在每一轮联邦蒸馏通信中，每个客户端计算服务器收集和分发的公共数据集D_public上的逻辑层参数向量并将模型的逻辑层输出参数上传至服务器；中央服务器在接收到特定数量K个客户端上传的模型逻辑层输出参数后，服务器针对所有接收到的逻辑层参数进行加权平均以生成平均逻辑层参数并将其下发至各个客户端；最后，每个客户端使用知识蒸馏技术并基于接收到的逻辑层参数进行本地私有模型知识蒸馏优化训练，直到所有客户端的私有模型f_k达到收敛状态。

4.根据权利要求1所述的一种基于联邦蒸馏学习框架的客户端成员推理攻击方法，其特征在于，所述步骤(2)实现过程如下：

基于联邦蒸馏学习框架设计成员推理攻击和重构攻击以评估该框架的隐私泄露程度，其中成员推理攻击隐私评估采用shokri发明的NSH联邦学习梯度成员推理攻击技术，具体而言是在恶意客户端本地训练成员推理攻击二分类器，并通过改变恶意客户端上传到中央服务器的逻辑层参数主动影响联邦蒸馏学习的聚合平均过程，最终恶意客户端将中央服务器下发的平均逻辑层参数定义为攻击二分类器的训练集，同时基于该数据集成员和非成员信息之间的差异训练成员推理模型，实现成员推理攻击的隐私评估；其中重构攻击评估采用深度隐私泄露评估方案来对中央服务器下发的平均逻辑层参数进行数据重构，以实现重构攻击的隐私评估。