[发明专利]一种基于高斯差分隐私和分布式深度学习的隐私保护方法

权利要求书

1.一种基于高斯差分隐私和分布式深度学习的隐私保护方法，其特征在于，包括：

中心服务器采用分布式深度学习方法根据本地客户端自身参数筛选本地客户端；

筛选出的本地客户端从中心服务器下载全局参数；

筛选出的本地客户端采用高斯差分隐私方法根据全局参数更新自身参数，将更新后的自身参数上传至中心服务器；

中心服务器根据更新后的自身参数更新全局参数；

当全局参数满足预设条件后输出最优全局参数。

2.根据权利要求1所述的一种基于高斯差分隐私和分布式深度学习的隐私保护方法，其特征在于，所述中心服务器采用分布式深度学习方法根据本地客户端自身参数筛选本地客户端包括：

在中心服务器中设定两个价值函数Q₁和Q₂，

Q₁(s，a)＝Q₁(s，a)+a[r+γQ₂(s′，argmax_a′Q₁(s′，a′))-Q₁(s，a)

Q₂(s，a)＝Q₂(s，a)+a[r+γQ₁(s′，argmax_a′Q₂(s′，a′))-Q₂(s，a)

根据(μ₁，acc₁)进行状态输入，输出最优客户端组合c₁

设定∈的概率进行随机选择一个行动进行探索，以∈的概率按当前经验做出最优决策a_t+1＝argmax_a′Q₁(s_t+1，a′)；

其中，状态s是当前情况下的准确率和隐私损失，表示为在当前情况下其准确率的大小与隐私损失数值的大小；s′表示下一个状态；动作a是当前的选择动作，表示为根据当前的状态做出的选择；奖励r是在当前状态下执行了动作后获得的即时奖励；价值函数Q₁和Q₂是在当前状态下进行当前动作所获得的奖励数值；折扣率γ表示Q₁和Q₂之间有一定的比例关系；argmax_a′表示下一个状态中的可能动作计算，选择出最优动作。

3.根据权利要求1所述的一种基于高斯差分隐私和分布式深度学习的隐私保护方法，其特征在于，所述筛选出的本地客户端采用高斯差分隐私方法根据全局参数更新自身参数，将更新后的自身参数上传至中心服务器包括：

被选中的C₁个本地客户端从中心服务器中下载损失函数l(θ，x)，其中θ表示为本地当前轮次的参数，x表示为输入数据，参数更新的比例λ，经过计算得到的全局参数W₀，损失函数L，模型M，子抽样概率p，学习率η_t，模型M；

本地客户端运行将本地数据集划分为n个子数据集，每个子数据集的矩阵表示为I_i∈{1，2，3，...，n}；

本地客户端自行设定自身的噪声因子σ，裁剪阈值R，本地客户端将下载的全局参数W₀更新至模型M中得到θ₀，本地客户端将模型参数θ₀总量的百分之80％进行固定并禁止这部分参数进行参数更新；

本地客户端将子数据集I_i输入进模型M中进行正向传播，并计算损失函数L_t

本地客户端将对L_t进行求导得到v_t不包括已经被禁止参数更新的参数；

本地客户端对v_t进行从大到小的梯度数值排序，对后百分之(100-λ)％的梯度进行置零，得到

裁剪阈值R对梯度中欧式范数超过R的梯度赋值为R，得到对梯度进行高斯差分隐私化，得到

对于选择出的梯度，当梯度数值超过阈值R时进行裁剪使梯度数值小于R；

将含有高斯差分隐私的参数θ^c以及总隐私损失μ^c上传至中心服务器。