[发明专利]基于解析高斯机制的差分隐私深度学习分类方法

说明书

本发明公开了一种基于解析高斯机制的差分隐私深度学习分类方法，主要解决现有技术总体隐私预算计算复杂的问题，其方案为：获取分类数据，并用解析高斯机制对输入层进行干扰，使其满足差分隐私；在输入层后构建隐含层，使用激活函数进行激活，并使用局部响应归一化限制激活函数的结果；选择交叉熵函数作为损失函数，对其进行解析高斯噪声干扰，以满足差分隐私，构成差分隐私深度学习分类模型；使用随机梯度下降法对该差分隐私深度学习分类模型进行训练，得到训练后的分类模型；将测试数据集输入到训练后的分类模型，得到分类结果。本发明的模型整体隐私预算不随训练过程增长，可以在模型训练前进行分配，计算较为简单，可用于信息安全。

技术领域

本发明属于计算机技术领域，更进一步涉及一种基于解析高斯机制的差分隐私深度学习分类方法，可用于信息安全。

背景技术

近年来，基于人工神经网络的深度学习得到了迅速的发展。在可预见的未来，人工智能的发展将超出预期。然而，深度学习所需的海量训练数据存在明显的隐私问题。对深度学习模型进行隐私保护，在保护敏感信息同时还可以进一步促进深度学习的大规模应用，具有非常重要的理论和实践意义。

差分隐私是一种较为新颖实用的隐私保护技术，主要被用在隐私信息收集与发布场景。苹果公司的IOS系统与谷歌公司的Chrome浏览器都使用了差分隐私技术进行用户数据收集统计。基于差分隐私的机器学习算法将随机干扰引入了机器学习模型，以降低模型准确率为代价使模型获得了差分隐私保护，避免了成员推理攻击与梯度逆向攻击。

2016年，Abadi M等人在ACM SIGSAC Conference on Computer andCommunications Security会议上发表的论文Deep learning with differentialprivacy中，使用了差分隐私随机梯度下降方法训练深度学习分类模型。在此基础上使用时刻计数方法追踪计算出模型的总体隐私预算。该方法由于需要额外的计算程序，并且在分类模型训练完毕后才能得到，因而隐私预算计算较为复杂。

发明内容：

本发明的目的在于针对上述现有技术的不足，提出一种基于解析高斯机制的差分隐私深度学习分类方法，以简化分类模型总体隐私预算的计算。

本发明的技术方案是利用差分隐私解析高斯噪声机制干扰深度学习基础分类模型的数据输入阶段和损失函数计算阶段，使模型整体满足差分隐私保证，并可以在模型训练前确定差分隐私预算，即深度学习分类模型的隐私保护程度，其实现步骤包括如下：

(1)从公开网站获取分类数据集，并对其进行归一化预处理，按6:1比例将预处理后的数据分为训练数据集与测试数据集；

(2)利用解析高斯机制将训练数据进行随机干扰，得到能满足差分隐私保证的干扰输入层；

(3)在干扰输入层后依次连接n个的隐含层，每个隐含层使用ReLU激活函数进行非线性激活，并使用局部响应归一化将激活函数的结果限制为[0,1]，其中n大于等于1；

(4)选择交叉熵函数作为损失函数，对该损失函数使用泰勒级数展开，对展开后损失函数的多项式系数进行解析高斯噪声干扰，以使损失函数满足差分隐私；

(5)使用随机梯度下降算法对通过上述(1)-(4)构成的差分隐私深度学习分类模型进行训练，得到训练后的分类模型；

(6)将测试数据集输入训练完成后的分类模型进行测试，得到分类结果。

本发明具有如下优点：

1)本发明由于整体隐私预算不随着模型训练过程增长，整体隐私预算可以在模型训练前进行分配，因而计算较为简单。

2)本发明使用了差分隐私解析高斯机制，与传统的差分隐私高斯机制相比，它可以施加更小的干扰来实现相同程度的差分隐私保护。

附图说明：