[发明专利]模型参数更新方法、装置、设备、存储介质及程序产品

说明书

本发明公开了一种模型参数更新方法、装置、设备、存储介质及程序产品，所述方法包括：计算近端优化损失，其中，所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量；基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值；采用所述梯度值更新所述参数，以完成本轮本地迭代。本发明实现了在通过增加本地迭代次数减少通信成本的同时，还能够保证模型的预测准确率。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种模型参数更新方法、装置、设备、存储介质及程序产品。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。纵向联邦学习，纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。

在纵向联邦学习过程中，拥有标签数据的参与方需要与其他参与方之间进行多次通信，以传输对方更新参数时所需的中间结果，例如模型输出或模型输出对应的梯度值。双方需要进行多轮联合参数更新，也即需要进行多次通信，因此通信成本较大。针对这一问题，目前提出了参与方利用其他参与方发送的一次中间结果在本地进行多轮本地迭代的方案，通过增加本地迭代次数来减少联合更新参数的次数，从而减少通信成本。

但是，该方案中当参与方本地迭代次数较多时，容易出现参数失真的问题，导致模型的性能无法保障，而当本地迭代次数较少时，又无法有效地减少通信成本。

发明内容

本发明的主要目的在于提供一种模型参数更新方法、装置、设备、存储介质及程序产品，旨在目前纵向联邦学习方案中通信成本和模型性能难以兼顾的问题。

为实现上述目的，本发明提供一种模型参数更新方法，所述方法应用于参与纵向联邦学习的第一设备，所述第一设备与参与纵向联邦学习的第二设备通信连接，所述方法包括以下步骤：

计算近端优化损失，其中，所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量；

基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值；

采用所述梯度值更新所述参数，以完成本轮本地迭代。

可选地，所述计算近端优化损失，其中，所述近端优化损失表征所述第一设备中第一模型的参数在本轮本地迭代中的参数值相比于在预设历史轮次的本地迭代中参数值的变化量的步骤包括：

将所述第一设备中第一模型的参数在本轮本地迭代中的参数向量与在预设历史轮次的本地迭代中的参数向量进行对应元素相减，得到差向量；

计算所述差向量中各元素的平方和，基于所述平方和得到所述近端优化损失。

可选地，当所述第一设备为拥有标签数据的参与方时，所述纵向联邦中间结果为所述第二设备中模型的输出，

所述基于所述近端优化损失、所述第一模型在本轮本地迭代中的模型输出以及从所述第二设备接收到的纵向联邦中间结果，计算得到所述参数对应的梯度值的步骤包括：

将所述第一设备的训练数据输入所述第一设备中的第一模型进行处理，得到所述第一模型在本轮本地迭代中的模型输出；

根据所述模型输出和所述纵向联邦中间结果计算得到预测结果，并基于所述预测结果和所述训练数据对应的标签数据计算得到预测损失；