[发明专利]一种基于联邦学习的模型训练方法

说明书

公开了一种基于联邦学习的模型训练方法。在一次训练迭代中，节点可以通过差分隐私保护操作，实现对梯度的加噪混淆，服务端可以获得加噪混淆后的梯度之和，进行模型参数的更新。

技术领域

本说明书实施例涉及信息技术领域，尤其涉及一种基于联邦学习的模型训练方法。

背景技术

联邦学习(Federated machine learning/Federated Learning)，是指一种机器学习框架，能有效帮助多个节点(可以代表个人或机构)在满足数据隐私保护的要求下，联合训练模型。

在联邦学习框架下，服务端下发模型参数给多个节点，每个节点将本地的训练样本输入模型进行一次训练，本次训练结束后，每个节点会基于本次训练结果计算得到的梯度。随后，服务端基于安全聚合(SA，Secure Aggregation)协议，可以计算得到各节点的梯度之和。值得强调的是，服务端收到SA协议的限制，并不能获得单个节点上传的梯度。

如此，既可以使得服务端根据各节点上传的梯度之和调整模型参数，又可以一定程度上实现节点的数据隐私保护。

然而实践中，服务端理论上可以根据各节点上传的梯度之和推断出各节点的数据隐私。

发明内容

为了解决服务端根据各节点上传的梯度之和推断出各节点的数据隐私的技术问题，本说明书实施例提供一种基于联邦学习的模型训练方法，技术方案如下：

根据本说明书实施例的第1方面，提供一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：

在模型训练的第i次迭代中，执行：

所述服务端将模型参数集合下发给M_i个节点；其中，M_i≤N，所述M_i个节点中存在Q_i个目标类型节点；

第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到w_ij；其中，j＝(1,2，…，Q_i)，w_ij＝w_ij^*+k_ij，w_ij^*表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，k_ij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，用于保护所述Q_i个目标类型节点的本地训练样本的差分隐私；

所述服务端获取并基于更新模型参数集合。

根据本说明书实施例的第2方面，提供一种联邦学习系统，包括服务端与N个节点，N＞1；

所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给M_i个节点；其中，M_i≤N，所述M_i个节点中存在Q_i个目标类型节点；

第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到w_ij；其中，j＝(1,2，…，Q_i)，w_ij＝w_ij^*+k_ij，w_ij^*表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，k_ij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，用于保护所述Q_i个目标类型节点的本地训练样本的差分隐私；

所述服务端，还获取并基于更新模型参数集合。