[发明专利]一种基于联邦学习进行模型参数更新的方法、系统及装置

说明书

本说明书涉及一种基于联邦学习进行模型参数更新的方法、系统及装置，能够用于数据隐私保护。所述方法由参与方中任一训练成员实现，包括对模型参数进行多轮更新，其中一轮迭代更新包括：获取与其他参与方具有相同结构的待训练模型，待训练模型包括多个网络层；基于持有的训练样本及样本标签进行训练，获得梯度矩阵；基于梯度矩阵更新一阶矩矩阵和二阶矩矩阵，其中，一阶矩矩阵和二阶矩矩阵分别包括与待训练模型网络层一一对应的多个层子矩阵；与服务器交互，逐层传输至少部分层子矩阵中的至少部分元素给所述服务器，以便服务器逐层更新模型参数；从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一次训练，或者基于此确定最终模型。

技术领域

本说明书一个或多个实施例涉及多方数据联合处理，特别涉及一种基于联邦学习进行模型参数更新的方法、系统及装置。

背景技术

在数据分析、数据挖掘、经济预测等领域，机器学习模型可被用来分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此难以准确地刻画目标，为了得到更好的模型预测结果，可以对不同数据拥有方持有的不同数据采用联邦学习模式进行模型训练。但是，多个数据拥有方持有的数据的差异性较大，这使得训练的模型收敛困难，模型训练效率很低。

因此，有必要提出一种方案以提高联邦学习过程中模型的训练效率。

发明内容

本说明书一个方面提供一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器，所述方法包括对模型参数进行多轮迭代更新，其中一轮迭代更新包括：获取与其他参与方具有相同结构的待训练模型，所述待训练模型包括多个网络层；基于自身持有的训练样本及样本标签对所述待训练模型进行训练，获得梯度矩阵；基于所述梯度矩阵更新一阶矩矩阵和二阶矩矩阵，其中，所述一阶矩矩阵和二阶矩矩阵分别包括与待训练模型网络层一一对应的多个层子矩阵，每个层子矩阵的元素与对应网络层中的模型参数一一对应；与服务器交互，逐层传输所述一阶矩矩阵和所述二阶矩矩阵中至少部分层子矩阵中的至少部分元素给所述服务器，以便服务器逐层更新模型参数；从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一次训练，或者基于此确定最终模型。

本说明书另一个方面提供一种基于联邦学习进行模型参数更新的系统，所述系统布置在参与方中的任一训练成员处，其中，所述参与方包括多个训练成员以及服务器，所述系统用于对模型参数进行多轮迭代更新；所述系统包括：待训练模型获取模块：用于获取与其他参与方具有相同结构的待训练模型，所述待训练模型包括多个网络层；梯度矩阵获取模块：用于基于自身持有的训练样本及样本标签对所述待训练模型进行训练，获得梯度矩阵；一阶矩/二阶矩矩阵更新模块：用于基于所述梯度矩阵更新一阶矩矩阵和二阶矩矩阵，其中，所述一阶矩矩阵和二阶矩矩阵分别包括与待训练模型网络层一一对应的多个层子矩阵，每个层子矩阵的元素与对应网络层中的模型参数一一对应；矩阵传输模块：用于与服务器交互，逐层传输所述一阶矩矩阵和所述二阶矩矩阵中至少部分层子矩阵中的至少部分元素给所述服务器，以便服务器逐层更新模型参数；模型更新模块，用于从所述服务器获取更新后的模型参数以将其作为待训练模型进行下一次训练，或者基于此确定最终模型。

本说明书另一个方面提供一种基于联邦学习进行模型参数更新的装置，所述装置布置在参与方中的任一训练成员处，包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于联邦学习进行模型参数更新的操作。