[发明专利]基于改进PATE的WGAN-GP隐私保护系统和方法

权利要求书

1.一种基于改进PATE的WGAN-GP隐私保护方法，其特征是，基于设计的共识度检查条件和从高斯分布采样噪声进行差分隐私保护对聚合机制进行优化，利用教师判别器共识度与隐私成本之间成反比以及和准确性之间成正比的关系在集成过程中设计有条件的差分隐私聚合器，通过优化教师分类器集群，在保护原始敏感训练数据的基础上生成供其他机器学习模型进行训练的合成数据。

2.一种基于改进PATE的WGAN-GP隐私保护系统，其特征是，由五个部分组成，教师分类模型优选模块、优化的教师分类器集群模块、有条件的差分隐私聚合器模块、学生判别器模块、生成器模块；首先教师分类模型优选模块是通过k折交叉验证法对若干分类模型进行评估，比较不同类别下若干分类模型的分类效果，进而挑选出每一种类别对应分类效果较优的分类模型，保留该分类模型作为优化的教师分类器集群的模型结构；重置所挑选分类模型的参数后，将真实敏感数据集划分为等大小且不相交的若干子集，每一个子集对应训练一个优选出的分类模型即教师分类器，形成优化的教师分类器集群模块；对于生成器模块的合成样本，由优化的教师分类器集群模块分别做出分类预测，优化的教师分类器集群模块的输出结果经过具有条件筛选机制的有条件的差分隐私聚合器聚合并添加高斯噪声，学生判别器学习通过筛选后的分类结果及来自生成器的合成样本进行训练，通过知识迁移对生成样本进一步判别计算，输出结果反向传播优化生成器，反复进行对抗训练直至隐私预算耗尽或模型达到“零和博弈”平衡。

3.如权利要求2所述的基于改进PATE的WGAN-GP隐私保护系统，其特征是，教师分类模型优选模块中：

使用k折交叉验证法评价模型，对教师分类模型进行优选；

运用不同的卷积神经网络模型，在训练数据集下分别训练分类模型，经过迭代后，对于各类别的准确性依次分析，取每一个类别的测试结果的平均值作为模型的分类效果，独立训练出一个分类模型，以此类推，对n种网络模型结构进行训练，训练得到n个结构不同的分类模型，将每个分类模型针对不同类别的分类效果进行分析整理，得到一个基于若干分类模型对于不同类别训练效果对比表，从该表中对每一种类别选出表现较优的前m个分类模型，作为对应该类别分类效果最优的教师分类模型，保留模型结构、重置所有模型参数以供后续优化的教师分类器集群的训练使用。

4.如权利要求2所述的基于改进PATE的WGAN-GP隐私保护系统，其特征是，优化的教师分类器集群中：

将根据优化的教师分类器集群模块优选挑出的每一类的较优分类模型作为一个分类块，对该类别做二分类处理，每一个分类块由m个教师分类模型结构组成，总共有t个分类块，再将现有的真实敏感训练数据集D划分为n个不相交的、具有相同大小的子集D_i，i＝1,...,n，每一个子集对应分别训练每一个块中的一个分类模型，即一个子集D_i独立训练一个优化的教师分类模型即优化的教师分类器，对应得到n个有相同学习任务的独自进行训练的优化的教师分类器集群，优化的教师分类器集群表示为{T_i^j:i∈1,...,mj∈1,...,tm·t＝n}，其中，将t个分类块称作t个教研室，即训练得到的共n个教师T_i^j对应所属于t个教研室中；

每个优化的教师分类器T_i^j的损失函数即为交叉熵函数，其表示为：

其中，m为当前批样本的数量大小，概率分布p_k为模型T_i^j的期望输出，概率分布q_k为教师分类器T_i^j的实际输出，在交叉熵之后连接一个softmax函数，将输出转化成概率结果。