[发明专利]一种基于同态加密的线性回归纵向联邦学习方法

说明书

本发明公开了一种基于同态加密的线性回归纵向联邦学习方法，包括步骤：a)建模训练；b)两种预测。建模训练：采用minist数据集，步骤如下：owner即数据应用方，利用Paillier生成公私钥对，consumer即数据持有，计算特征值与特征矩阵的乘积发送给owner，owner计算预测标签通过与实际Y对比得到然后计算梯度，利用梯度来更新特征值的权重，直到模型达收敛范围，训练结束。预测方法1：无第三方，consumer计算特征值与特征矩阵的乘积发给owner，计算预测值返回给consumer。预测方法2：基于差分隐私，Carol整合双方特征参数后发给consumer，consumer计算预测标签将结果发给Carol。本发明创新点：训练阶段，梯度始终加密，无第三方，未暴露过多特征参数；预测阶段可防止合谋攻击。

技术领域

本发明属于纵向联邦学习领域，特别涉及去除第三方的基于同态加密的线性回归纵向联邦学习建模训练，以及基于差分隐私的模型预测方法。

背景技术

随着互联网技术的发展，机器学习越来越多的参与到社会建设的方方面面，然而当前机器学习始终面临两大挑战：一是数据安全难以得到保障，数据泄露问题频发；二是由于网络安全隔离和行业隐私，不同行业、不同部门之间存在数据壁垒。导致数据形成―孤岛无法安全共享，而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为了解决以上问题，谷歌率先提出联邦学习技术，其通过将机器学习的数据存储和模型训练阶段转移至本地用户，而仅与中心服务器交互模型更新的方式有效保障了用户的隐私安全。

联邦学习应用场景不同，客户端之间持有的数据集特征各不相同。假设D_m代表客户端m持有的数据，I表示样本ID，Y表示数据集的标签信息，X表示数据集的特征信息，因此一个完整的训练数据集D应由(I,Y,X)构成。根据参与训练客户端的数据集特征信息X的不同，联邦学习被分为横向联邦学习、纵向联邦学习和联邦迁移学习。

由于安全多方计算(Secure multiparty computation，即MPC)相关技术热度持续高升，有许多研究中使用MPC技术直接加密数据集进行机器学习训练，虽然保护了数据隐私安全，但是计算开销和通信开销呈指数级增加，在大数据环境下，这显然更加是一种挑战。联邦学习也应运而生，谷歌率先公开了联邦学习框架FATE，其中纵向联邦学习支持多个参与方联合数据集，在数据中心形成一个完整的数据池进行模型训练，在此过程中每个参与方数据都得到了保护，共同建模提高了模型的拟合度，自身模型无损耗。还有学者将联邦学习引入到更加丰富的应用场景中，根据参与方之间数据分布的差异，形成了完整的联邦学习框架包括横向联邦学习框架、纵向联邦学习框架和联邦迁移学习框架。

线性回归是目前流行病学和医学的疾病诊断、金融行业经济预测等最常用的分析方法，从一组样本数据出发，确定变量之间的数学关系式，对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出显著变量。目前联邦学习框架中大多使用泰勒展开来进行预测，这样会大大损失模型的精确度，同时大多数都有第三方存在，这个第三方在最开始为数据各方分配公钥，第三方持有对应私钥。各个参与方利用该公钥对训练数据的中间结果进行加密后通信，第三方用私钥解密来自各方的中间结果，计算得出此次迭代的中间结果更新。这个过程中，第三方获得了其他参与方的隐私数据，参与方的隐私信息仍然存在暴露的危险。而且应用公钥系统会导致复杂性过高。

发明内容

本发明的目的是提供一种基于同态加密的线性回归纵向联邦学习方法。在训练阶段，利用梯度构建乘法对，相比于Fate的训练方法，本发明直接去除第三方，数据隐私得到更好的保护，同时训练过程中始终利用梯度来更新参数，在保证系统安全性的同时，大大降低了系统的复杂性和提高系统的效率。训练结束后，提供两种模型预测方法，去除第三方的预测方法，简单高效，能迅速得到结果，基于差分隐私的预测方法，在借助第三方的算力同时，加入拉普拉斯噪音能有效防止数据被反推出来，避免了全集的设定，高效且安全。

实现本发明目的的具体技术方案是：