[发明专利]基于迁移学习的神经网络联邦建模方法、设备及存储介质

权利要求书

1.一种基于迁移学习的神经网络联邦建模方法，其特征在于，所述基于迁移学习的神经网络联邦建模方法包括以下步骤：

第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，其中，第二终端将第二样本数据输入至第二神经网络，得到第二神经网络向量，并依据所述第二神经网络向量确定第二梯度值和第二损失值，且将所述第二梯度值和所述第二损失值加密之后，传输至所述第一终端，所述第一神经网络向量与所述第二神经网络向量的特征维度相同；

将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型；

其中，所述将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值的步骤之后，还包括：

所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送给所述第三终端；

依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：

若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；

所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一神经网络的本地梯度，且在更新完成后，返回执行步骤：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二神经网络的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送给所述第三终端。

2.如权利要求1所述的基于迁移学习的神经网络联邦建模方法，其特征在于，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。

3.如权利要求2所述的基于迁移学习的神经网络联邦建模方法，其特征在于，依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤包括：

接收所述第三终端解密返回的第三损失值和历史损失值；

计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；

若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。

4.如权利要求1-3中任一项所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。

5.如权利要求4所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。