[发明专利]一种基于联邦学习进行模型参数更新的方法及系统

说明书

本说明书一个或多个实施例涉及一种基于联邦学习进行模型参数更新的方法及系统，可用于机器学习过程中的隐私数据保护，所述方法由参与方中的任一训练成员实现；其包括：获取具有与其他参与方相同结构的待训练初始模型；进行多次模型参数迭代更新，每次迭代包括：基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；基于所述传输比例从所述模型数据矩阵中提取部分参数元素；基于所述部分参数元素生成参数传输矩阵；将所述参数传输矩阵上传给所述服务器；从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。

技术领域

本说明书一个或多个实施例涉及多方数据联合处理，特别涉及一种基于联邦学习进行模型参数更新的方法和系统。

背景技术

在数据分析、数据挖掘、经济预测等领域，机器学习模型可被用来分析、发现潜在的数据价值。由于单个数据拥有方持有的数据可能是不完整的，由此难以准确地刻画目标，为了得到更好的模型预测结果，通过多个数据拥有方的数据合作，来进行模型的联邦学习的方式得到了广泛的使用。但是随着联邦学习技术的发展，联邦学习所计算的模型参数计算愈来愈大，参数数量也而越来越多。这对于多方计算过程中的通讯造成了很大的压力。

因此，有必要提出一种方案降低传输过程中的通讯压力的问题。

发明内容

本说明书一个方面提供一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的任一训练成员实现，其中，所述参与方包括多个训练成员以及服务器；所述方法包括：获取具有与其他参与方相同结构的待训练初始模型；进行多次模型参数迭代更新，其中每次迭代包括：基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；所述模型数据矩阵包含训练得到的多个参数；确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；基于所述传输比例从所述模型数据矩阵中提取部分参数元素；基于所述部分参数元素生成参数传输矩阵；将所述参数传输矩阵上传给所述服务器；从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。

本说明书另一个方面提供一种基于联邦学习进行模型参数更新的系统，所述系统布置在参与方中的任一训练成员处，其中，所述参与方包括多个训练成员以及服务器；所述系统包括：待训练初始模型获取模块：获取具有与其他参与方相同结构的待训练初始模型；模型参数迭代模块，用于进行多次模型参数迭代更新，其进一步包括：模型数据矩阵获取单元，用于基于自身持有的训练样本进行模型训练，获得当前次迭代对应的模型数据矩阵；所述模型数据矩阵包含训练得到的多个参数；传输比例确定单元，用于确定当前次迭代对应的传输比例，所述传输比例与迭代次数负相关；参数元素提取单元，用于基于所述传输比例从所述模型数据矩阵中提取部分参数元素；参数传输矩阵生成单元，用于基于所述部分参数元素生成参数传输矩阵；参数传输矩阵传输单元，用于将所述参数传输矩阵上传给所述服务器；模型参数更新单元，用于从所述服务器获取更新后的模型参数以基于此进行下一次迭代，或者基于此确定最终模型。

本说明书另一个方面提供一种基于联邦学习进行模型参数更新的装置，所述装置包括处理器以及存储器；所述存储器用于存储指令，所述处理器用于执行所述指令，以实现所述基于联邦学习进行模型参数更新方法的操作。

本说明书另一个方面提供一种基于联邦学习进行模型参数更新的方法，所述方法由参与方中的服务器实现，其中，所述参与方包括多个训练成员以及所述服务器；所述方法包括多次模型参数迭代更新，其中每次迭代包括：获取各训练成员上传的参数传输矩阵，所述各参数传输矩阵包括训练成员当前次迭代获得的模型数据矩阵中的部分参数元素，且部分参数元素的数量与迭代次数负相关；所述模型数据矩阵包含训练成员当前次迭代中通过自身持有的训练样本进行模型训练得到的多个参数；基于各参数传输矩阵得到聚合参数矩阵；基于聚合参数矩阵调整模型参数以获得当前次迭代对应的模型参数；将当前次迭代对应的模型参数发送给各训练成员。