[发明专利]纵向联邦学习中无可信第三方的回归模型训练方法及系统

说明书

本申请实施例提供了一种纵向联邦学习中无可信第三方的回归模型训练方法及系统，数据提供方将第一内积发送至模型发起方；模型发起方计算第一内积与第二内积的内积和，采用预设函数计算预测值，计算预测值与真实标签值的残差，对残差进行半同态加密，将半同态加密残差以及半同态加密的公钥发送至数据提供方；数据提供方在半同态加密下，计算针对第一特征参数的第一梯度并增加随机掩码；模型发起方根据半同态加密的私钥，对加密掩码梯度进行解密，将掩码梯度发送至数据提供方；数据提供方去除掩码梯度中的随机掩码，得到第一梯度，更新第一特征参数。实现在不依赖第三方机构，且保护双方隐私数据的前提下，完成纵向联邦学习中回归模型的训练。

技术领域

本申请涉及机器学习技术领域，特别是涉及一种纵向联邦学习中无可信第三方的回归模型训练方法及系统。

背景技术

当今，大数据驱动的人工智能技术已经广泛应用于金融、零售、医疗等领域。为了得到更好效果的模型，往往需要大量数据的支撑，而现实中数据往往分布于不同的机构。但是，绝大多数人工智能算法在设计之初没有考虑个人隐私信息保护的问题。如何在满足法律和条约的情况下，打破“数据孤岛”，共享和使用这些数据，成为一个急需解决的问题。

联邦学习是由谷歌公司提出的一种分布式学习范式。根据数据分布，联邦学习可以被划分为横向联邦学习、纵向联邦学习和联邦迁移学习三种场景。

逻辑斯蒂回归算法是一种经典的机器学习模型，适用于分类问题。因为其具有简单、高效、可解释强等特性，被人们广泛应用于金融、推荐、广告等领域。诸多现实场景要求在纵向联邦学习的场景下完成逻辑斯蒂回归模型的训练和使用。

目前，在纵向联邦学习场景下，现有的逻辑斯蒂回归算法依赖于一个可信第三方协调数据提供方、模型发起方之间的通信。但在现实场景中，难以寻求一个双方都认可的可信第三方。

发明内容

本申请实施例的目的在于提供一种纵向联邦学习中无可信第三方的回归模型训练方法及系统，以实现在不依赖第三方机构，且保护双方隐私数据的前提下，完成纵向联邦学习中回归模型的训练。具体技术方案如下：

为实现上述目的，本申请实施例提供了一种纵向联邦学习中无可信第三方的回归模型训练方法，所述方法包括：

数据提供方计算第一特征与第一特征参数的第一内积，将所述第一内积发送至模型发起方；其中，所述第一特征是预先从样本用户的第一行为数据中提取的；

模型发起方计算第二特征与第二特征参数的第二内积，并计算所述第一内积与所述第二内积的内积和，基于所述内积和采用预设函数计算预测值，计算所述预测值与真实标签值的残差，对所述残差进行半同态加密，将半同态加密残差以及半同态加密的公钥发送至所述数据提供方；其中，所述第二特征是预先从所述样本用户的第二行为数据中提取的；

所述数据提供方根据半同态加密的公钥，在半同态加密下，基于所述半同态加密残差计算针对所述第一特征参数的第一梯度并增加随机掩码，得到加密掩码梯度，并将所述加密掩码梯度发送至所述模型发起方；

所述模型发起方根据半同态加密的私钥，对所述加密掩码梯度进行解密，得到掩码梯度，将所述掩码梯度发送至所述数据提供方；

所述数据提供方去除所述掩码梯度中的随机掩码，得到所述第一梯度，并基于所述第一梯度更新所述第一特征参数。

可选的，所述方法还包括：

所述模型发起方基于所述预测值与真实标签值的残差，计算针对所述第二特征参数的第二梯度，并基于该第二梯度更新所述第二特征参数。

可选的，所述预设函数为sigmoid函数。

可选的，所述方法还包括：

所述模型发起方将所述预测值和所述真实标签值代入预设损失函数，计算损失值；