[发明专利]一种面向联邦学习的半中心化对抗训练方法

说明书

本发明公开了一种面向联邦学习的半中心化对抗训练方法，属于安全与人工智能交叉领域；具体为：首先，针对联邦学习框架，确定要优先训练的特征，获取带有特征标签的样本数据集；并根据样本属性，预训练对抗生成模型，使此模型能够生成针对此属性的对抗样本；然后，将对抗生成模型拆分成编码器与解码器，将编码器发送前往客户端，并启动联邦进程；客户端使用接收到的编码器编码本地5％‑10％随机少量样本，并发送前往服务器；服务器在每一轮接收到样本后，使用对抗样本微调联邦学习框架的参数，并进行最终发布；本发明实现了在分布式联邦学习框架中应用对抗训练来提高模型的性能。

技术领域

本发明属于安全与人工智能交叉领域，具体是一种面向联邦学习的半中心化对抗训练方法。

背景技术

在2016年，谷歌在关于输入法的人工智能预测上首次提出了联邦学习，联邦学习是一种由多个用户方联合进行模型训练的框架，在传统分布式机器学习的基础上，加入了数据隐私保护的技术和机制，在隐私敏感数据越来越成为限制大数据发展的今天，联邦学习成为了少数能提供隐私保护解决方案的机器学习技术。

但是，联邦学习不是完美的，由于多个用户方联合训练过程中模型性能的损耗，模型在预测任务上的表现预期要低于中心化机器学习，因此有必要根据联邦学习这种特殊的分布式机器学习框架提出对应的优化方法，使得联邦学习模型的学习能力提高到能够参与商业活动中的预测任务。

发明内容

针对上述问题，本发明提出了一种面向联邦学习的半中心化对抗训练方法，基于特殊的生成对抗网络进行联邦学习性能优化的同时，减少了用户隐私的泄露和通信资源的消耗，实现了对联邦学习高效和针对性的性能优化。

具体步骤如下：

步骤一、在联邦学习过程中，针对待优先训练的特征项，获取带有特征标签的数据集，划分为训练集和测试集；

步骤二、根据联邦学习的规则，服务器确定客户端数量，将训练集进行概率采样，使得每个客户端分到的训练集数量相同；

将客户端本地数据指针指向被分配好的训练集，并在每个客户端附加训练集目录；

目录中包含的内容有：(1)此客户端的训练集样本数量；(2)此客户端训练集标签分布；(3)此客户端训练集优先特征项的标签分布。

步骤三、针对带有中央服务器的横向联邦学习架构，使用训练集预训练对抗生成模型VAE；

对抗生成模型VAE包括：编码器Encoder，解码器Decoder，隐变量的均值向量mu，隐变量的对数方差向量logvar，以及隐变量的采样方法Reparameterization。

另外，预训练的步骤如下：

步骤301、初始化编码器与解码器以及全连接神经网络MLP；

步骤302、输入图片样本x到编码器，得到隐变量z；解码器将隐变量z解码为对抗样本，同时MLP以隐变量z的部分变量z_a为输入，得到优化特征的预测判别结果a；

步骤303、将输入样本x，隐变量z以及预测判别结果a带入损失函数，计算当前对抗样本的损失函数loss值；

损失函数loss计算公式为：

L(p,q)＝E_q(z|x)[logp(x|z)]-KLD(q(z|x)||p(z))+E[a|z_a]

其中，E表示结果的期望，q_(z|x)表示编码器的输出，即隐变量的分布；p(x|z)表示解码器的输出，即生成的对抗样本；p(z)表示标准正态分布下z的表示形式，KLD表示隐变量分布与标准正态分布之间的KL散度距离，E[a|z_a]表示根据变量z_a预测欲优化特征的结果期望；