[发明专利]基于解析高斯机制的差分隐私深度学习分类方法

权利要求书

1.一种基于解析高斯机制的差分隐私深度学习分类方法，其特征在于，包括如下：

(1)从公开网站获取分类数据，并对其进行归一化预处理，按6:1比例将预处理后的数据分为训练数据集与测试数据集；

(2)利用解析高斯机制将训练数据进行随机干扰，得到能满足差分隐私保证的干扰输入层；

(3)在干扰输入层后依次连接n个的隐含层，每个隐含层使用ReLU激活函数进行非线性激活，并使用局部响应归一化将激活函数的结果限制为[0,1]，其中n大于等于1；

(4)选择交叉熵函数作为损失函数，对该损失函数使用泰勒级数展开，对展开后损失函数的多项式系数进行解析高斯噪声干扰，以使损失函数满足差分隐私；

(5)使用随机梯度下降算法对通过上述(1)-(4)构成的差分隐私深度学习分类模型进行训练，得到训练后的分类模型；

(6)将测试数据集输入训练完成后的分类模型进行测试，得到分类结果。

2.根据权利要求1所述的方法，其特征在于(2)所述的利用解析高斯机制将训练数据进行随机干扰，得到能满足差分隐私保证的干扰输入层，实现如下：

(2a)计算输入层h₀的敏感度Δ₂：

其中L表示一个训练批次，L'表示一个只有一个训练数据与L不同的训练批次，x_n表示L中与L'不同的那个训练数据，x_n'表示L'中与L不同的那个训练数据，x_nj表示x_n中的第j个特征，x'_nj表示x_n'中的第j个特征，d表示训练数据的特征数量，x_i表示L中的一个训练数据，x'_i表示L'中的一个训练数据，||.||₂表示L2范数；

(2b)使用解析高斯机制保证输入层h₀满足差分隐私：

根据已知的预先分配的第一对隐私预算ε₁和δ₁，将隐私预算在输入层h₀进行平均分配，并通过解析高斯机制计算出干扰高斯噪声参数：σ₁＝AGM(Δ₂,ε₁/|h₀|,δ₁/|h₀|)，其中|h₀|表示输入层h₀中的神经元数量，AGM表示解析高斯机制；

对一个训练批次L中的每个训练数据的所有输入特征施加一个高斯噪声分布以使输入层h₀满足差分隐私，其中|L|表示一个训练批次L中训练数据的数量，N表示高斯分布概率密度函数。

3.根据权利要求1所述的方法，其特征在于，所述(3)的激活函数，表示如下：

g(x)＝max(0,x)。

4.根据权利要求1所述的方法，其特征在于，(3)所述的使用局部响应归一化将激活函数的结果限制为[0,1]，实现如下：

(3a)在全连接中，给定L中的一个训练数据x_i，将单个被干扰神经元局部响应归一化表示为：以使得的值被限制为[0,1]，其中与χ分别为所有被干扰神经元中的最大值与最小值，L是训练批次，W是连接权重矩阵；

(3b)在卷积层中，将位于第k个特征图谱的(i,j)位置的被干扰像素值局部响应归一化表示为：以使得的值被限制为[0,1]，其中，N是特征图谱的总数，q,l,α,β是超参数。