[发明专利]基于联邦学习的模型训练方法及装置

说明书

本发明实施例提出一种基于联邦学习的模型训练方法及装置。所述方法包括：接收第二数据提供方发送的第二原始自变量计算值；所述第二原始自变量计算值为第二数据提供方根据第二原始自变量和第二模型参数计算得到；根据第一数据提供方的第一模型参数初始值、第一原始自变量和所述第二原始自变量计算值，计算因变量估计值；计算所述第一数据提供方的因变量与所述因变量估计值的差值；根据所述差值，计算损失函数对第一模型参数的梯度值；根据所述损失函数对第一模型参数的梯度值更新第一模型参数。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于联邦学习的模型训练方法及装置。

背景技术

随着互联网技术的发展，数据共享也越来越普遍。不同的数据拥有方可能相互之间都有数据共享的需求。为了在数据共享的时候实现数据不可见，但数据价值可见，提出了联邦学习的概念。

联邦学习是一种新型的分布式学习机制，它允许在不同的数据提供者所有的离散数据语料库的基础上进行模型训练，同时无需分享或泄露原始数据。根据数据分布的特征，联邦学习可以分为三种：横向联邦学习、纵向联邦学习和联邦转移学习。

在纵向联邦学习中，两个数据提供方将数据发送到一个第三方协作者处，由第三方协作者将相关模型参数和公共密钥发送到两个数据提供方，这两个数据提供方同时也是数据接收方。在此数据共享涉及了三方，需要第三方协作者为两个数据提供方所信任且不存在数据泄露的危险。协作者模式基于一个强假设：数据提供方和数据需求方均对第三方协作者信任，第三方协作者不会以任何形式主动或者被动泄露数据。但这个强假设是非常难以办到的。

发明内容

本发明实施例提供一种基于联邦学习的模型训练方法及装置，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种基于联邦学习的模型训练方法，包括：

接收第二数据提供方发送的第二原始自变量计算值；所述第二原始自变量计算值为第二数据提供方根据第二原始自变量和第二模型参数计算得到；

根据第一数据提供方的第一模型参数初始值、第一原始自变量和所述第二原始自变量计算值，计算因变量估计值；

计算所述第一数据提供方的因变量与所述因变量估计值的差值；

根据所述差值，计算损失函数对第一模型参数的梯度值；

根据所述损失函数对第一模型参数的梯度值更新第一模型参数。

在一种实施方式中，接收所述第二数据提供方发送的第二原始数据计算值之前，还包括：

产生一对密钥，将所述密钥中的公钥发送给第二数据提供方；

计算所述第一数据提供方的因变量与所述因变量估计值的差值之后，还包括：

利用所述密钥中的私钥对所述差值进行加密，得到加密差值并发送到第二数据提供方；

接收第二数据提供方发送的损失函数对第二模型参数的梯度加密值，所述损失函数对第二模型参数的梯度加密值为所述第二数据提供方利用所述公钥，对随机数和所述加密差值计算得到；

利用所述密钥中的私钥对所述损失函数对第二模型参数的梯度加密值，得到损失函数对第二模型参数的梯度值与所述随机数之和；

将所述损失函数对第二模型参数的梯度值与所述随机数之和发送到所述第二数据提供方。

在一种实施方式中，根据第一数据提供方的第一模型参数初始值、第一原始自变量和所述第二原始自变量计算值，计算因变量估计值，包括：

根据第一数据提供方的第一模型参数初始值和第一原始自变量，获得第一原始自变量计算值；