[发明专利]基于联邦迁移学习的参数处理方法、设备及存储介质

说明书

本发明公开了一种基于联邦迁移学习的参数处理方法、设备及存储介质，该方法包括：第一终端基于生成的第一标注样本特征和第一重叠样本特征，生成第一私有损失值、第一私有参数梯度和第一秘密共享计算中间结果，并从第一秘密共享计算中间结果中分解出第一秘密共享计算中间结果的第二份额，并将其发送到第二终端，以供第二终端生成第二参数梯度对第二参数更新；第一终端基于第二终端发送的第一秘密共享计算中间结果的第二份额，并结合第一秘密共享计算中间结果的第一份额、第一私有损失值和第一私有参数梯度，生成总损失值和第一参数梯度，以根据第一参数梯度更新第一终端内的第一参数；通过第一参数和第二参数的准确更新来完成模型的训练。

技术领域

本发明涉及金融科技(Fintech)技术领域，尤其涉及一种基于联邦迁移学习的参数处理方法、设备及存储介质。

背景技术

随着金融科技(Fintech)，尤其是互联网科技金融的不断发展，越来越注重通过对用户的各项数据添加不同的标签来体现用户的特征；而各个机构中所涉及到的用户数据众多，往往通过机器学习的方式来对各项数据进行标注。

目前包括联邦学习在内的分布式机器学习技术应用的一个前提条件是分布式中各节点上的数据在样本空间或特征空间上高度重合。然而在很多真实场景中，分布在各节点上的数据往往是异构的，也即他们在样本空间和特征空间上的重合度很低；数据的异构性问题导致了分布式的机器学习技术在真实场景中的应用困难，需要构建大量的数据才能确保联邦学习的准确率。同时随着用户隐私保护在机器学习中的应用，采用隐私保护的计算使得计算成本大幅度增加，也影响了分布式机器学习的推广。如此一来，数据构建和计算的复杂性，以及基于隐私保护计算的高成本，在降低分布式机器学习效率的同时，还不利于其推广。

发明内容

本发明的主要目的在于提供一种基于联邦迁移学习的参数处理方法、装置、设备及存储介质，旨在解决现有技术中因用于分布式机器学习的数据构建和计算复杂，以及基于隐私保护计算的高成本，所导致的分布式机器学习的效率低及影响推广的问题。

为实现上述目的，本发明提供一种基于联邦迁移学习的参数处理方法，所述基于联邦迁移学习的参数处理方法包括以下步骤：

第一终端调用第一特征转换函数对第一终端内的第一标注样本和第一重叠样本分别进行特征转换，得到第一标注样本特征和第一重叠样本特征；

所述第一终端根据由样本特征距离函数和标注预测模型误差函数组成的损失函数，基于所述第一重叠样本特征、第一标注样本特征和第一标注样本标签，生成第一私有损失值、第一私有参数梯度和第一秘密共享计算中间结果；

所述第一终端通过秘密共享机制对第一秘密共享计算中间结果进行分解得到第一秘密共享计算中间结果的第一份额和第一秘密共享计算中间结果的第二份额，并将第一秘密共享计算中间结果的第二份额发送给第二终端，以供第二终端生成第二参数梯度，并根据第二参数梯度更新第二参数，其中第二参数包括第二特征转换函数全部参数，以及样本特征距离函数的待更新参数和联邦标注预测模型的待更新参数；

所述第一终端接收所述第二终端发送的第二秘密共享计算中间结果的第一份额，根据第一秘密共享计算中间结果的第一份额，第二秘密共享计算中间结果的第一份额，第一私有损失值和第一私有参数梯度，生成总损失值和第一参数梯度，并根据第一参数梯度更新第一参数，其中第一参数包括第一特征转换函数的全部参数，以及样本特征距离函数的待更新参数和联邦标注预测模型的待更新参数。

可选地，所述第一终端根据第一秘密共享计算中间结果的第一份额，第二秘密共享计算中间结果的第一份额，第一私有损失值和第一私有参数梯度，生成总损失值和第一参数梯度的步骤包括：

所述第一终端根据第一秘密共享计算中间结果的第一份额和第二秘密共享计算中间结果的第一份额，基于秘密共享机制，生成秘密共享损失值的第一份额，第一秘密共享参数梯度的第一份额，第二秘密共享参数梯度的第一份额，并将所述第二秘密共享参数梯度的第一份额发送给第二终端，以供第二终端生成第二参数梯度；