[发明专利]一种安全高效的横向联邦神经网络模型训练方法

说明书

本发明公开了一种安全高效的横向联邦神经网络模型训练方法。它包括以下步骤：S1：发起方、参与方同步初始化；S2：发起方、参与方同步批处理个数m；S3：发起方、参与方分别完成m次批处理，发起方在参与方的配合下计算出经过每次批处理的横向联邦神经网络模型包含的每个特征数据的权重系数对应的聚合梯度，得到每个特征数据的权重系数对应的m个聚合梯度；S4：发起方计算出每个特征数据的权重系数的最新值，并发送给参与方，发起方、参与方分别给本方横向联邦神经网络模型包含的每个特征数据的权重系数赋予最新值；重复执行步骤S3‑S4，直到达到设定的迭代次数T。本发明保护了发起方、参与方的数据安全，训练非常高效，便于实现大规模商用。

技术领域

本发明涉及神经网络模型训练技术领域，尤其涉及一种安全高效的横向联邦神经网络模型训练方法。

背景技术

在横向联邦学习风控场景中，同态加密和秘密分享是常见的安全协议。然而，横向联邦神经网络建模的计算复杂度高，如果基于同态加密或者秘密分享算子设计联邦神经网络算法难以实现大规模商业可用，特别是训练类似Resnet等复杂的横向联邦神经网络模型耗时较长。另一方面，金融风控场景对于安全性要求高，需要一种既安全又高效的横向联邦神经网络模型训练方法。

现有横向联邦神经网络建模方法主要基于密码学安全协议如秘密分享或者同态加密，计算复杂度比明文高出数倍甚至几十倍，难以达到大规模可商用的要求。另外，在两方场景下，即使使用了秘密分享或者同态加密密文聚合梯度，也可以反推出参与方的明文梯度值。例如，发起方的梯度是5，参与方的梯度是3，发起方知道最终的梯度聚合值是8，不管参与方使用秘密分享还是同态加密，发起方都可以反推出参与方的梯度值是8-5=3。

发明内容

本发明为了解决上述技术问题，提供了一种安全高效的横向联邦神经网络模型训练方法，其通过添加服从正态分布的随机噪声保护发起方、参与方各自的梯度不会被对方反推出来，保护了数据安全，同时梯度计算复杂度和明文基本一致，使得模型训练非常高效，便于实现大规模商用。

为了解决上述问题，本发明采用以下技术方案予以实现：

本发明的一种安全高效的横向联邦神经网络模型训练方法，用于金融机构之间联合风控建模，包括以下步骤：

S1：发起方客户端、参与方客户端同步初始化各自的横向联邦神经网络模型以及横向联邦神经网络模型包含的每个特征数据的权重系数；

S2：发起方客户端、参与方客户端同步批处理个数m，发起方客户端、参与方客户端分别将本方用于训练横向联邦神经网络模型的样本分为m个批次；

S3：发起方客户端完成m次批处理，参与方客户端完成m次批处理；

发起方客户端在参与方客户端的配合下计算出经过每次批处理的横向联邦神经网络模型包含的每个特征数据的权重系数对应的聚合梯度，得到每个特征数据的权重系数对应的m个聚合梯度；

发起方客户端在参与方客户端的配合下计算出经过第i次批处理的横向联邦神经网络模型包含的第j个特征数据的权重系数对应的聚合梯度g_ij的方法包括以下步骤，1≤i≤m，1≤j≤d，d为横向联邦神经网络模型包含的特征数据的个数：

N1：发起方客户端计算经过第i次批处理的本方横向联邦神经网络模型的第j个特征数据的权重系数对应的平均梯度ga_ij，参与方客户端计算经过第i次批处理的本方横向联邦神经网络模型的第j个特征数据的权重系数对应的平均梯度gb_ij；

N2：发起方客户端给平均梯度ga_ij添加噪声N，得到有噪声梯度gan_ij，参与方客户端给平均梯度gb_ij添加噪声N，得到有噪声梯度gbn_ij；

噪声N为服从期望为0、方差为的正态分布的随机噪声，其中，σ为标准差，C为噪声系数；