[发明专利]一种基于秘密共享和随机扰动的隐私保护线性回归方法

说明书

本发明公开了一种基于秘密共享和随机扰动的隐私保护线性回归方法，包括如下步骤：S1：秘密共享值的乘法，S2：训练数据预处理，S3：参数初始化，S4：模型参数更新，S5：模型参数重构，S6：预测数据预处理，S7：计算预测共享值，S8：重构预测结果。数据提供者只需将两方参数值相加即可得到模型参数，模型参数隐私和原始数据隐私都可得到保护。本技术可以使企业或机构将数据通过秘密共享的形式分给两云服务器，利用云服务器来存储数据，且可以利用两个云服务器进行计算线性回归模型，此过程中，利用云服务器高效计算的同时并不会泄露原始数据。

技术领域

本发明涉及机器学习数据隐私保护领域，具体涉及一种基于两方的秘密共享和随机扰动技术的隐私保护线性回归方法。

背景技术

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降(GradientDescent)是最常采用的方法之一。在最小化损失函数时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数，和模型参数值。但这过程中不可避免地要用到大量数据进行迭代，而原始数据的泄露，将会危及到用户敏感数据的安全或给服务提供商带来巨大的经济损失。这也是云计算发展面临的主要障碍。因此，基于云计算的机器学习服务系统应该更加重视隐私问题，不断提高隐私防护能力。

安全多方计算(secure multiparty computation，简称SMC)起源于姚期智的百万富翁问题，主要用于解决一组互不信任的参与方之间保持隐私的协同计算问题。数据方不希望将所有训练数据交给一台服务器来训练模型。他希望将数据集分布到多个服务器，共同训练模型。每个服务器不会了解其他服务器的训练数据。SecureML是一种保护隐私的双服务器模型协议。数据所有者将私有数据分配给2个非合谋服务器，并用安全的两方计算技术训练联合数据。采用了不经意传输和加密电路和面向多方计算友好的激活函数。使用安全多方计算来解决数据的隐私保护问题是目前研究的主流方向。当前安全多方计算的主要挑战是如何通过多方构建一个安全且效率较高的计算协议。

Bose等人在基于Vaidya的思想和Clifton的研究提出一种代数解决方案，它通过随机数据扰动的方式，将真实值放置在用随机值掩盖的方程式中来隐藏真实值，提出标量积符号的单向和双向协议的计算协议。双方通过相同的并行动作得到标量积的符号，在并行计算场景下降低了其复杂度。没有第三方参与，直到最后一步，一个人必须依赖他人的产出。

本方案采用基于安全两方梯度下降迭代的方法，结合秘密共享、随机数据扰动等密码学技术，其优点体现在：1)相比于使用同态加密方案，利用两方之间大量交互可以取代其昂贵的计算开销，同时还可以满足原始数据和模型参数的隐私保护要求。2)随机下降梯度每次迭代都必须用到所有训练样本，这使得算法收敛缓慢，因此本方案使用小批量梯度下降算法，每次随机选取固定数量的小部分样本进行迭代更新。3)采用随机化和代数方法，进一步减少了安全多方计算的加密开销。

发明内容

本发明提供了一种基于秘密共享和随机扰动的隐私保护线性回归方法，基于安全两方计算的基础上，采用小批量下降梯度迭代，在加法计算中使用秘密共享的加法运算，乘法方面使用随机数据扰动的方法，并将数据运算扩展至矩阵运算，在原有的使用不经意传输的两方计算协议基础上，大大减少了加密开销和通信复杂度，同时在训练阶段和预测阶段，保护了原始数据的隐私，又因为最终的模型参数由用户自己重构，所以模型参数隐私也可以得到很好地保护。方案在机器学隐私保护领域中，可以得到广泛应用。

一种基于秘密共享和随机扰动的隐私保护线性回归方法，包括如下步骤：

S1：秘密共享值的乘法