[发明专利]基于隐私保护的联合训练业务模型的方法及装置

说明书

本说明书实施例提供一种基于隐私保护的联合训练业务模型的方法和装置，根据该方法，服务器针对实现业务模型的神经网络中的各个网络层，确定扰动矩阵，并用其对网络层的参数进行扰动加密，得到扰动加密模型，分发给各个终端。终端利用扰动加密的模型处理其本地训练样本，得到扰动梯度。并且，终端还在扰动梯度上叠加噪声。通过精心设计噪声的分布，使得经扰动矩阵进行恢复后得到的噪声符合高斯分布，从而满足差分隐私的要求。于是，服务器可以对各个终端发送的含躁梯度进行扰动恢复并聚合，从而更新神经网络模型中的参数。

技术领域

本说明书一个或多个实施例涉及机器学习领域，尤其涉及在分布式系统中保护隐私的模型联合训练方法及装置。

背景技术

机器学习的迅猛发展使得各种机器学习的模型在各种各样的业务场景得到应用。由于模型的预测性能依赖于训练样本的丰富程度和可用程度，为了得到性能更加优异的业务预测模型，往往需要综合利用多个平台的训练数据，共同对模型进行训练。

具体的，在数据纵向分布的场景中，多个平台可以各自拥有同一批业务对象的不同特征数据。例如在基于机器学习的商户分类分析场景中，电子支付平台拥有商户的交易流水数据，电子商务平台存储有商户的销售数据，银行机构拥有商户的借贷数据。在数据横向分布的场景中，多个平台可以各自拥有不同业务对象的相同属性特征。例如不同地区的银行机构，各自拥有本地注册商户的借贷数据。当然还存在纵向横向分布相结合的情况。

多个平台本地的训练数据往往包含本地业务对象的隐私，特别是用户隐私。进一步的，根据本地训练数据训练出的本地模型，也会存在泄漏本地数据特点的风险。因此，在多方共同训练模型的场景中，数据安全和数据隐私问题，是极大的一项挑战。

因此，希望提供改进的方案，在多方共同训练业务模型的情况下，保证各方的隐私数据不泄露，确保数据安全。

发明内容

本说明书一个或多个实施例描述了一种联合训练业务模型的方法和装置，通过对模型进行扰动加密，并对梯度添加噪声，保护隐私数据不泄露，确保数据安全。

根据第一方面，提供了一种基于隐私保护的联合训练业务模型的方法，所述业务模型通过神经网络实现，所述方法由服务器执行，包括：

针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；

利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；

将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；

从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；

利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；

将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。

根据一种实施方式，针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，具体包括：针对所述神经网络的各个网络层，确定对应的随机向量，所述随机向量的维度与相应网络层中神经元的数目相同；根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，其中所述第一网络层是所述神经网络中的中间层。