[发明专利]一种基于联邦学习的隐私保护图像分类方法

权利要求书

1.一种基于联邦学习的隐私保护图像分类方法，其特征是应用于由服务器、洗牌器和N个客户端所组成的网络中，并按如下步骤进行：

步骤1.所述服务器获取无标记的公共数据并进行归一化预处理，得到预处理后的公共数据集记为D_P＝{x₁,x₂,...,x_k,...,x_K}，x_k表示第k个公共样本，k＝1,2,...,K，K为公共样本的总数；

步骤2.所述服务器初始化并通过洗牌器下发数据至各客户端：

步骤2.1.所述服务器生成公钥pk和私钥sk；

步骤2.2.所述服务器构造全局神经网络M_G；

步骤2.3.所述服务器将公钥pk、全局神经网络M_G和公共数据集D_P发送给所述洗牌器；

步骤3.所述客户端训练本地神经网络：

步骤3.1.第i个客户端获取本地真实数据并进行归一化预处理，得到预处理后的本地数据集记为D_i＝{(x_i,1,y_i,1),(x_i,2,y_i,2),...,(x_i,j,y_i,j),...,(x_i,J,y_i,J)}，x_i,j和y_i,j分别表示第i个客户端的第j个本地样本和对应的标记，i＝1,2,...,N，N为客户端总数，j＝1,2,...,J，J为本地样本总数；

步骤3.2.第i个客户端根据式(1)计算本地的全局神经网络M_Gi的预测结果与本地样本标记之间的交叉熵损失并作为训练所述本地神经网络的监督损失，再使用随机梯度下降优化方法以学习率lr_i^L来更新所述本地神经网络的权值，并在监督损失值趋于稳定时完成对所述本地神经网络M_Gi的训练；

式(1)中，为符号函数，表示第i个客户端的第j个本地样本的类别，若表示第j个本地样本的类别属于类别c，若表示第j个本地样本的类别不属于类别c；表示第i个客户端的本地的全局神经网络M_Gi预测第j个本地样本属于类别c的概率；c∈[1,m]，m为类别数；

步骤4.所述洗牌器对客户端进行随机子采样，得到S个子采样后的客户端用于预测第k个公共样本x_k；

步骤5.任意第s个子采样客户端预测公共样本x_k后，扰动并加密后发送给洗牌器，s＝1,2,...,S：

步骤5.1.第s个子采样客户端利用训练后的本地神经网络M_Gs计算公共数据集D_P中各个公共样本的预测值{f_s(x₁),f_s(x₂),...,f_s(x_k),...,f_s(x_K)}；其中，f_s(x_k)表示第s个子采样客户端计算的第k个公共样本x_k的预测值；

步骤5.2.第s个子采样客户端将预测值{f_s(x₁),f_s(x₂),...,f_s(x_k),...,f_s(x_K)}进行one-hot编码，得到编码预测值{y_s,1,y_s,2,...,y_s,k,...,y_s,K}，其中，y_s,k表示第k个公共样本x_k的预测值f_s(x_k)的one-hot编码，且y_i,k∈{0,1}^m；

步骤5.3.第s个子采样客户端根据式(2)计算扰动后的本地预测值{y′_s,1,y′_s,2,...,y′_s,k,...,y′_s,K}，其中，y′_s,k表示第s个子采样客户端的第k个公共样本x_k的编码预测值y_s,k扰动后的预测值；

式(2)中，Pr表示概率；Perturb(·)表示扰动函数；y_s,k[b]和y′_s,k[b]分别表示第s个子采样客户端的第k个公共样本x_k的编码预测值y_s,k的第b位和扰动后的预测值y′_s,k的第b位，b∈[1,m]；ε表示客户端分配给每个编码预测值的隐私预算；

步骤5.4.第s个子采样客户端使用公钥pk将扰动后的预测值y′_s,k加密后发送给所述洗牌器；

步骤6.所述洗牌器伪造并随机排列预测后，将匿名预测发送给服务器：

步骤6.1.对于第k个公共样本x_k，所述洗牌器伪造虚假预测值并利用公钥pk加密，其中，表示所述洗牌器对第k个公共样本x_k伪造的第h个虚假预测值，且且表示第h个虚假预测值的第b位，且满足二项分布，h＝1,2,...,H，H为虚假预测总数；

步骤6.2.对于第k个公共样本x_k，所述洗牌器删除所有对应的第s个子采样客户端的本地预测值{y′_s,1,y′_s,2,...,y′_s,k,...,y′_s,K}的身份信息后，再与虚假预测值进行合并，对合并后的信息进行随机排列，并得到匿名预测值并发送给服务器，其中，表示第k个公共样本x_k的第a个匿名预测值，a＝1,2,...,A，A为匿名预测总数，A＝S+H；

步骤7.所述服务器聚合匿名预测值并训练全局模型：

步骤7.1.所述服务器利用私钥sk解密对应的匿名预测值后，根据式(3)对解密后的预测值进行聚合，得到第k个公共样本x_k单一的全局预测并作为第k个公共样本x_k的聚合标记，从而得到聚合标记后的公共数据集

式(3)中，argmax(·)表示寻找具有最大值的参数；

步骤7.2.所述服务器根据式(4)计算全局神经网络M_G的预测结果与公共样本的聚合标记之间的交叉熵损失并作为训练所述全局神经网络M_G的监督损失，使用随机梯度下降优化方法以学习率来更新所述全局神经网络M_G的权值，并在监督损失值趋于稳定时完成对所述全局神经网络M_G的训练；

式(4)中，为符号函数，表示公共数据D_P中第k个样本x_k的类别，若表示第k个样本x_k的类别属于c类，若表示第k个样本x_k的类别不属于c类；p_kc表示全局神经网络M_G预测的第k个公共样本x_k属于类别c的概率；

步骤8.所述服务器将训练好的全局神经网络M_G下发至各客户端，第i个客户端利用训练好的全局神经网络M_G进行图像分类。