[发明专利]基于隐私保护的联合训练业务模型的方法及装置

权利要求书

1.一种基于隐私保护的联合训练业务模型的方法，所述业务模型通过神经网络实现，所述方法由服务器执行，包括：

针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵；

利用所述随机扰动矩阵对相应网络层的当前参数矩阵进行扰动处理，得到该网络层的扰动加密参数矩阵；

将扰动加密模型发送给多个终端，其中所述扰动加密模型包括所述多个网络层对应的扰动加密参数矩阵；

从所述多个终端中任意的第一终端接收所述多个网络层分别对应的混淆梯度项，其中所述混淆梯度项是在第一噪声梯度项上叠加第二噪声而得到，其中所述第一噪声梯度项通过利用所述扰动加密模型处理所述第一终端本地的第一样本集而得到，所述第二噪声与对应网络层的所述随机扰动矩阵的组合结果满足高斯分布；

利用所述多个网络层对应的所述随机扰动矩阵，对相应网络层的混淆梯度项进行恢复处理，得到所述多个网络层的梯度恢复结果；

将对应于所述多个终端的梯度恢复结果进行聚合，根据聚合结果，更新所述多个网络层的当前参数矩阵。

2.根据权利要求1所述的方法，其中，针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，包括：

针对所述神经网络的各个网络层，确定对应的随机向量，所述随机向量的维度与相应网络层中神经元的数目相同；

根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，其中所述第一网络层是所述神经网络中的中间层。

3.根据权利要求2所述的方法，其中，所述神经网络包括N个待训练的实际网络层，以及插入在相邻的实际网络层之间的N-1个过渡网络层，所述过渡网络层具有固定的单位矩阵作为其参数矩阵；

针对所述神经网络的各个网络层，确定对应的随机向量，包括：

针对实际网络层中的各个中间层，确定第一随机向量；

针对各个过渡网络层，确定第二随机向量；其中，所述第一随机向量和第二随机向量中的向量元素，具有不同的数据分布。

4.根据权利要求3所述的方法，其中，所述第一随机向量中的各个向量元素，符合高斯分布的三元分解数据分布；所述第二随机向量中的各个向量元素的倒数，符合高斯分布的三元分解数据分布；所述第一网络层为实际网络层中的中间层；

根据第一网络层的随机向量及其相邻网络层的随机向量，确定该第一网络层对应的随机扰动矩阵，包括：

将该第一网络层对应的第一随机向量中的各个向量元素，和该第一网络层的前一过渡网络层对应的第二随机向量中的各个向量元素的倒数分别进行组合，将组合结果作为该第一网络层对应的随机扰动矩阵中的各个矩阵元素。

5.根据权利要求3所述的方法，其中，针对所述神经网络的各个网络层，确定对应的随机向量，还包括：

针对实际网络层中的输入层，确定第三随机向量，其中各个向量元素符合高斯分布的二元分解数据分布；

针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，还包括：

将该输入层对应的第三随机向量中的元素作为矩阵元素，得到该输入层对应的随机扰动矩阵。

6.根据权利要求3所述的方法，其中，针对各个过渡网络层，确定第二随机向量，包括：针对最后一个过渡网络层，确定最后一个第二随机向量，其中各个向量元素的倒数，符合高斯分布的二元分解数据分布；

针对所述神经网络中的多个网络层，确定对应的随机扰动矩阵，还包括：

针对实际网络层中的输出层，将所述最后一个第二随机向量中各个元素的倒数作为矩阵元素，得到该输出层对应的随机扰动矩阵。

7.根据权利要求3所述的方法，其中，所述多个网络层为所述N个待训练的实际网络层。