[发明专利]一种基于联邦学习进行模型参数更新的方法及系统

权利要求书

1.一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：

获取具有与其他参与方相同结构的待训练初始模型；

进行多次模型参数迭代更新，其中每次迭代包括以下步骤：

基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；其中，所述模型数据矩阵包含训练得到的多个参数；

确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；

基于所述传输比例从所述模型数据矩阵中提取部分参数元素；

基于所述部分参数元素生成参数传输矩阵；

将所述参数传输矩阵上传给所述服务器；

从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。

2.根据权利要求1所述的方法，所述基于所述传输比例从所述模型数据矩阵中提取部分参数元素，包括：

获取所述模型数据矩阵所包含的参数元素总数；

基于所述参数元素总数以及所述传输比例计算上传参数元素个数；

按所述模型数据矩阵中各参数元素的绝对值大小进行排序，选择绝对值靠前的上传参数元素个数的参数元素作为所述部分参数元素。

3.根据权利要求1所述的方法，所述基于所述部分参数元素生成参数传输矩阵，包括：

基于所述部分参数元素生成参数稀疏矩阵，其中，参数稀疏矩阵与所述模型数据矩阵同维，且所述部分参数元素在所述参数稀疏矩阵中的位置与在所述模型数据矩阵中的位置相同，所述参数稀疏矩阵中除所述部分参数元素以外的元素为0；

将所述参数稀疏矩阵确定为所述参数传输矩阵。

4.根据权利要求1所述的方法，所述基于所述部分参数元素生成参数传输矩阵，包括：

基于所述部分参数元素生成参数稀疏矩阵，其中，参数稀疏矩阵与所述模型数据矩阵同维，且所述部分参数元素在所述参数稀疏矩阵中的位置与在所述模型数据矩阵中的位置相同，所述参数稀疏矩阵中除所述部分参数元素以外的元素为0；

确定当前次迭代的训练样本数量；

将所述训练样本数量上传给服务器；

接收服务器返回的当前次迭代的训练样本总数，所述当前次迭代的训练样本总数为各训练成员当前次迭代的训练样本数据的总和；

基于所述训练样本数量以及所述训练样本总数确定权重系数；

基于所述权重系数以及所述参数稀疏矩阵获得加权参数矩阵，其中加权参数矩阵中的元素为权重系数与所述参数稀疏矩阵元素的乘积；

将所述加权参数矩阵确定为所述参数传输矩阵。

5.根据权利要求4所述的方法，所述训练样本数量以密文的形式上传给服务器。

6.根据权利要求1所述的方法，所述参数传输矩阵以密文的形式上传给服务器。

7.根据权利要求1所述的方法，所述待训练初始模型还具有与其他参与方相同的初始化模型参数。

8.根据权利要求1所述的方法，所述模型数据矩阵为模型梯度矩阵或模型参数矩阵，其中模型梯度矩阵包括训练得到的多个梯度值，模型参数矩阵包括训练得到的多个模型参数。

9.一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及所述服务器；所述方法包括多次模型参数迭代更新，其中每次迭代包括：

获取各训练成员上传的参数传输矩阵，所述各参数传输矩阵包括训练成员当前次迭代获得的模型数据矩阵中的部分参数元素，且部分参数元素的数量与迭代次数负相关；所述模型数据矩阵包含训练成员当前次迭代中通过自身持有的训练样本进行模型训练得到的多个参数；

基于各参数传输矩阵得到聚合参数矩阵；

基于聚合参数矩阵获得当前次迭代对应的模型参数；

将当前次迭代对应的模型参数发送给各训练成员。