[发明专利]联邦学习模型的处理方法、装置、电子设备和存储介质

说明书

本发明实施例涉及一种联邦学习模型的处理方法、装置、电子设备和存储介质，该方法包括：确定不同计算节点的梯度数据之间的数据相关性；依据数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点；接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。本发明实施例的技术方案，通过利用多个参与方交换的信息中的冗余来进行分布式信源编码，从而降低联邦学习中所需要的通讯量，能够在保护联邦学习模型的情况下，减少中间梯度数据量，达到降低通信量提高计算速度的效果。

技术领域

本发明实施例涉及联邦学习技术领域，尤其涉及一种联邦学习模型的处理方法、装置、电子设备和存储介质。

背景技术

联邦学习在进行复杂模型（例如深度学习）计算的时候，中间梯度数据通讯传输量较大，该中间梯度数据需要在不同节点之间传递，传输的时间较长，会导致训练效率降低。

发明内容

基于现有技术的上述情况，本发明实施例的目的在于提供一种联邦学习模型的处理方法、装置、电子设备和存储介质，能够在保护联邦学习模型的情况下，减少中间梯度数据量，达到降低通信量提高训练效率的效果。

为达到上述目的，根据本发明的一个方面，提供了一种联邦学习模型的处理方法，应用在服务端，所述方法包括：

确定与服务端连接进行联邦学习模型训练的计算节点，并确定不同计算节点的梯度数据之间的数据相关性，计算节点的梯度数据依据计算节点的训练数据对联邦学习模型在计算节点的节点模型进行训练生成；

依据所述数据相关性确定各计算节点的节点数据处理规则，并下发至对应的计算节点，所述节点数据处理规则包括信源编码矩阵和压缩率，以使所述计算节点依据本地的训练数据对联邦学习模型在本地的节点模型进行训练，形成第一梯度数据，并依据信源编码矩阵对第一梯度数据进行转换，形成第一转换数据，并依据压缩率对第一转换数据进行压缩，得到第一压缩数据；

接收计算节点上传的第一压缩数据，并依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据；

依据所述还原数据对服务端的联邦学习模型进行调整，以确定训练好的联邦学习模型。

进一步的，所述方法还包括：依据服务端更新后的联邦学习模型，确定各计算节点的节点模型的本地梯度更新；

对服务端更新后的联邦学习模型进行压缩，形成第二压缩数据，并下发至对应的计算节点；

其中，所述第二压缩数据作为计算节点对节点模型调整的依据，以使得计算节点依据调整后的节点模型和本地的训练数据进行训练，更新所述第一梯度数据。

进一步的，所述依据计算节点的梯度数据之间的数据相关性，对各计算节点的第一压缩数据进行还原，形成还原数据，包括：

依据目标计算节点的信源编码矩阵和各计算节点的梯度数据之间的数据相关性对第一压缩数据进行数据还原，得到各计算节点的还原数据。

进一步的，所述方法还包括：

在目标计算节点的第一压缩数据还原失败时，发送扩增数据获取指令至目标计算节点，以使得所述目标计算节点依据扩增数据获取指令从第一转换数据中获取扩增压缩数据；

接收目标计算节点上传的扩增压缩数据，以更新第一压缩数据来完成目标计算节点的数据还原。

进一步的，所述方法还包括：

确定联邦学习模型的数据量化规则，所述数据量化规则依据联邦学习模型的精度确定；