[发明专利]横向数据切分联邦学习建模方法、服务器及介质

说明书

本发明公开了一种横向数据切分联邦学习建模方法、服务器及可读存储介质，横向数据切分联邦学习建模方法包括以下步骤：服务器节点将第一模型参数发送至各个工作节点，以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价，并反馈梯度和损失代价；接收各个工作节点反馈的梯度和损失代价；基于梯度和损失代价对第一模型参数进行更新，以获得第二模型参数，并判断第二模型参数是否收敛，若是，则将第二模型参数作为标准模型参数。本发明通过服务器节点发送模型参数、收集梯度及更新模型参数，且各个工作节点同时进行联邦模型训练，根据不同类型的模型参数使得模型训练过程中不存在数据泄露的问题。

技术领域

本发明涉及大数据技术领域，尤其涉及横向数据切分联邦学习建模方法、服务器及介质。

背景技术

当前关于隐私保护的机器学习方案主要停留在理论研究和学术论文中，根据调研发现，现有的隐私保护的机器学习方案受限于技术形态与实际应用，目前工业界无相关的技术应用。

并且，当前现有的隐私保护联邦学习方案常出现在学术论文中，但对现实问题理解不足，缺乏从训练到预测的一体化流程，且往往只停留在理论研究阶段。

发明内容

本发明的主要目的在于提供一种横向数据切分联邦学习建模方法、服务器及可读存储介质，旨在解决现有技术中联邦学习方案缺少训练流程的技术问题。

为实现上述目的，本发明提供一种横向数据切分联邦学习建模方法，所述横向数据切分联邦学习建模方法包括以下步骤：

服务器节点将第一模型参数发送至各个工作节点，以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价，并反馈所述梯度和损失代价，其中，各个数据拥有方分别切分自身拥有的数据获得待训练数据，并分别发送所述待训练数据至对应的工作节点；

接收所述各个工作节点反馈的所述梯度和损失代价；

基于所述梯度和损失代价对所述第一模型参数进行更新，以获得第二模型参数，并判断第二模型参数是否收敛，若是，则将所述第二模型参数作为标准模型参数。

优选地，所述工作节点包括本地工作节点和远程工作节点，所述服务器节点将第一模型参数发送至各个工作节点，以供各个工作节点分别对其自身的待训练数据进行联邦模型训练得到梯度和损失代价，并反馈所述梯度和损失代价，其中，各个数据拥有方分别切分自身拥有的数据获得待训练数据，并分别发送所述待训练数据至对应的工作节点的步骤包括：

所述服务器节点将第三模型参数发送至所述本地工作节点，以供所述本地工作节点对其自身的待训练数据对应的第一多方样本特征进行联邦模型训练得到本地梯度和损失代价，并反馈所述本地梯度和损失代价，其中，所述本地工作节点与所述服务器节点属于同一个数据拥有方；

且所述服务器节点将第四模型参数发送至远程工作节点，以供所述远程工作节点对其自身的若干份数据对应的第二多方样本特征进行联邦模型训练得到加密梯度，并反馈所述加密梯度，其中，所述第四模型参数为对所述第三模型参数执行加密操作后得到的模型参数，所述远程工作节点对应的数据拥有方为各个数据拥有方中除服务器节点对应的数据拥有方以外的第一数据拥有方。

优选地，所述接收所述各个工作节点反馈的所述梯度和损失代价的步骤包括：

接收所述本地工作节点反馈的本地梯度和损失代价，且接收所述远程工作节点反馈的加密梯度。

优选地，所述基于所述梯度和损失代价对所述第一模型参数进行更新，以获得第二模型参数，并判断第二模型参数是否收敛，若是，则将所述第二模型参数作为标准模型参数的步骤包括：

将接收到的加密梯度进行解密得到远程梯度；

对所述本地梯度和远程梯度进行汇总求和得到梯度，且基于所述梯度对所述第一模型参数进行更新得到第二模型参数；