[发明专利]一种深度学习差分隐私保护方法

权利要求书

1.一种深度学习差分隐私保护方法，其特征在于，其步骤为：

步骤1、构建一个引入差分隐私机制的深度学习网络；

步骤2、在深度学习网络的参数优化阶段结合差分隐私理论对梯度添加高斯噪声；

步骤3、结合差分隐私可组合的特性计算步骤2的隐私损失；

步骤4、利用WGAN的生成模型生成经差分隐私参数处理的生成图像；并对未经任何处理的原始数据也利用WGAN生成模型生成图像；

步骤5、从差分隐私参数处理的生成图像中选择出最优图像结果，比较最优图像和原始数据生成图像之间的差异，计算相似度差值；

步骤6、在相似度阈值的限定下，反馈调节模型中的相关隐私参数，使步骤3中的隐私损失达到最小值，实现隐私保护和数据可用性之间的平衡。

2.根据权利要求1所述的一种深度学习差分隐私保护方法，其特征在于：步骤1中建立两层卷积层和三层全连接层的卷积神经网络，引入的差分隐私为(ε,δ)-差分隐私，如公式(1)所示：

Pr[M(D)∈S_M]≤e^ε×Pr[M(D’)∈S_M]+δ (1)

其中，M是给定的随机算法；D和D’是最多只相差一条记录的近邻数据集；S_M是随机算法M在数据集D和D’上的所有可能输出；ε、δ分别表示隐私预算和隐私误差值。

3.根据权利要求2所述的一种深度学习差分隐私保护方法，其特征在于：步骤2对深度网络参数优化阶段添加高斯噪声的过程为：

从训练数据集X＝{x₁,x₂,...,x_n}中随机选取小批量的训练数据进行输入，批量大小为m，计算每个训练数据对应的梯度值对每个梯度的L₂范数进行梯度裁剪并且计算平均值，在阈值范围C内获得新梯度值然后在新梯度值中添加高斯噪声V～N(0,σ²)扰动梯度的输出，σ为噪声添加规模；最后根据梯度下降法将新梯度反向移动一步并更新梯度值参数θ_t。

4.根据权利要求3所述的一种深度学习差分隐私保护方法，其特征在于：步骤3中隐私损失的计算用公式(2)表示：

其中，M是给定的随机算法；D、D’是相邻的两个数据集，aux是输入辅助参数，s表示输出且s∈R；

添加的高斯噪声具有马尔科夫性，结合差分隐私的定义可以得到公式(3)如下：

其中，对相邻数据集D和D’添加高斯噪声V和V’时满足公式(4)如下：

V'＝V+Dd (4)

其中，Dd为差分隐私敏感度；

最后，结合高斯机制的特性可以得到将公式(2)、(3)、(4)化简后可以得到添加高斯噪声的过程中的隐私损失为公式(5)如下：

5.根据权利要求4所述的一种深度学习差分隐私保护方法，其特征在于：步骤4中WGAN的损失函数如公式(6)所示：

其中，P_d表示真实数据分布，P_g表示生成数据分布；更新权重时，需要使网络参数维持在满足Lipschitz条件的范围内。

6.根据权利要求5所述的一种深度学习差分隐私保护方法，其特征在于：步骤5中隐私参数处理后的生成图像最优选择主要依赖于分类准确率和视觉评估，相似度差值的计算则通过无任何处理的生成图像的分类准确率减去上述最优选择的分类准确率得到，如公式(7)所示：

C_acc＝acc_r-acc_p (7)

其中，acc_r表示无任何处理的生成图像分类准确率；acc_p表示最优选择的生成图像分类准确率。

7.根据权利要求6所述的一种深度学习差分隐私保护方法，其特征在于：步骤6中相似度阈值C的设定一般为10％；计算步骤5所得C_acc与设定的相似度阈值C的大小；若C_acc的值大于C时，则重新选择合适的生成图像，重复步骤5直至C_acc小于C；当C_acc的值小于C时，通过步骤3评估隐私损失的大小，通过选择合适的ε和δ来最小化隐私损失且满足高斯噪声的条件，最终实现隐私保护度与数据可用性的平衡。