[发明专利]一种安全高效的横向联邦神经网络模型训练方法

权利要求书

1.一种安全高效的横向联邦神经网络模型训练方法，其特征在于，包括以下步骤：

S1：发起方客户端、参与方客户端同步初始化各自的横向联邦神经网络模型以及横向联邦神经网络模型包含的每个特征数据的权重系数；

S2：发起方客户端、参与方客户端同步批处理个数m，发起方客户端、参与方客户端分别将本方用于训练横向联邦神经网络模型的样本分为m个批次；

S3：发起方客户端完成m次批处理，参与方客户端完成m次批处理；

发起方客户端在参与方客户端的配合下计算出经过每次批处理的横向联邦神经网络模型包含的每个特征数据的权重系数对应的聚合梯度，得到每个特征数据的权重系数对应的m个聚合梯度；

发起方客户端在参与方客户端的配合下计算出经过第i次批处理的横向联邦神经网络模型包含的第j个特征数据的权重系数对应的聚合梯度g_ij的方法包括以下步骤，1≤i≤m，1≤j≤d，d为横向联邦神经网络模型包含的特征数据的个数：

N1：发起方客户端计算经过第i次批处理的本方横向联邦神经网络模型的第j个特征数据的权重系数对应的平均梯度ga_ij，参与方客户端计算经过第i次批处理的本方横向联邦神经网络模型的第j个特征数据的权重系数对应的平均梯度gb_ij；

N2：发起方客户端给平均梯度ga_ij添加噪声N，得到有噪声梯度gan_ij，参与方客户端给平均梯度gb_ij添加噪声N，得到有噪声梯度gbn_ij；

噪声N为服从期望为0、方差为的正态分布的随机噪声，其中，σ为标准差，C为噪声系数；

N3：参与方客户端将有噪声梯度gbn_ij发送给发起方客户端，发起方客户端计算经过第i次批处理的横向联邦神经网络模型包含的第j个特征数据的权重系数对应的聚合梯度g_ij，g_ij=(gan_ij+gbn_ij)/2；

S4：发起方客户端计算每个特征数据的权重系数对应的m个聚合梯度的均值，得到每个特征数据的权重系数对应的平均聚合梯度，发起方客户端根据学习率μ、每个特征数据的权重系数对应的平均聚合梯度计算出每个特征数据的权重系数的最新值，并给本方横向联邦神经网络模型包含的每个特征数据的权重系数赋予最新值；

发起方客户端将每个特征数据的权重系数的最新值发送给参与方客户端，参与方客户端给本方横向联邦神经网络模型包含的每个特征数据的权重系数赋予最新值；

S5：重复执行步骤S3-S4，直到达到设定的迭代次数T。

2.根据权利要求1所述的一种安全高效的横向联邦神经网络模型训练方法，其特征在于，所述步骤S2包括以下步骤：

发起方客户端根据本方用于训练横向联邦神经网络模型的样本个数A以及本方的批处理大小p计算出批处理个数m，，表示向上取整，并将其发送给参与方客户端，发起方客户端按照批处理大小p将本方用于训练横向联邦神经网络模型的样本分为m个批次；

参与方客户端根据本方用于训练横向联邦神经网络模型的样本个数B以及批处理个数m计算出本方的批处理大小q，，参与方客户端按照批处理大小q将本方用于训练横向联邦神经网络模型的样本分为m个批次。

3.根据权利要求1或2所述的一种安全高效的横向联邦神经网络模型训练方法，其特征在于，所述步骤S3中发起方客户端完成一次批处理包括以下步骤：将当前批次的每个样本包含的特征数据输入发起方客户端的横向联邦神经网络模型进行训练；

所述步骤S3中参与方客户端完成一次批处理包括以下步骤：将当前批次的每个样本包含的特征数据输入参与方客户端的横向联邦神经网络模型进行训练。