[发明专利]纵向联邦学习系统优化方法、设备及可读存储介质

说明书

本发明公开了一种纵向联邦学习系统优化方法、设备及可读存储介质，所述方法包括：接收所述第二设备发送的第二设备的加密精简中间结果，而后对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，最后利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。在纵向联邦训练中，通过减少参与设备的中间结果所包含的数据个数，从而减少了需要加密及通信的数据量，降低了加密和通信成本，同时极大的缩短了纵向联邦建模时间。

技术领域

本发明涉及机器学习技术领域，尤其涉及一种纵向联邦学习系统优化方法、设备及可读存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。

纵向联邦学习是在参与者的数据特征重叠较小，而用户重叠较多的情况下，取出参与者用户相同而用户数据特征不同的那部分用户及数据进行联合训练机器学习模型。比如有属于同一个地区的两个参与者A和B，其中参与者A是一家银行，参与者B是一个电商平台。参与者A和B在同一地区拥有较多相同的用户，但是A与B的业务不同，记录的用户数据特征是不同的。特别地，A和B记录的用户数据特征可能是互补的。在这样的场景下，可以使用纵向联邦学习来帮助A和B构建联合机器学习预测模型，帮助A和B向他们的客户提供更好的服务。

纵向联邦学习在建模过程中，参与者之间以加密形式交互用于计算梯度和损失函数的中间结果，每一轮模型训练都需要对中间结果中的每个数据进行加密及交换，中间结果的数量与参与者所拥有的数据的数量相同，故加密及交互的数据量很大，加密和通信成本很高，同时也增加了纵向联邦建模时间。

发明内容

本发明的主要目的在于提供一种纵向联邦学习系统优化方法、装置、设备及可读存储介质，旨在实现降低纵向联邦学习训练过程中的加密和通信成本，缩短建模时间。

为实现上述目的，本发明提供一种纵向联邦学习系统优化方法，应用于参与纵向联邦学习的第一设备，所述第一设备与第二设备通信连接，所述纵向联邦学习系统优化方法包括以下步骤：

接收所述第二设备发送的第二设备的加密精简中间结果，其中，所述第二设备用于对计算得到的第二设备的各条样本数据对应的原始中间结果进行抽样处理，得到所述第二设备的部分样本数据对应的精简中间结果，并对所述第二设备的精简中间结果进行加密，得到所述第二设备的加密精简中间结果；

对所述第二设备的加密精简中间结果进行数据补齐，得到第二设备的加密补齐中间结果，其中，所述加密补齐中间结果的数据数量与所述原始中间结果的数据数量相同；

利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值，并基于所述加密第一梯度值更新所述第一设备的模型参数，循环迭代直到检测到满足预设停止条件时，得到训练完成的第一设备的目标模型参数。

可选地，所述对所述第二设备的加密精简中间结果进行数据补齐获得加密补齐中间结果的步骤包括：

获取所述第二设备的抽样对照表，并基于所述第二设备的抽样对照表在所述第二设备的加密精简中间结果中确定填充数据以及所述填充数据对应的填充位置；

在所述第二设备的加密精简中间结果中，基于所述填充位置插入所述填充数据，得到所述第二设备的加密补齐中间结果。

可选地，所述利用所述第二设备的加密补齐中间结果计算得到所述第一设备中模型参数对应的加密第一梯度值的步骤包括：

计算得到用于计算梯度值的第一设备的加密精简中间结果；