[发明专利]一种保护隐私数据的梯度下降计算方法

说明书

本发明公开了一种保护隐私数据的梯度下降计算方法，该方法用于包括一个或多个数据提供方、一个解密服务提供方和一个计算资源提供方的机器学习的对梯度函数计算中，适用于利用与sigmoid函数轮廓相近的多项式函数对该sigmoid函数进行拟合计算或利用与sigmoid函数轮廓相近的分段函数对该sigmoid函数拟合计算，包括：同态加密密钥生成与分发、训练参数协商、数据加密及汇总和梯度下降过程各步骤。该方法精度较高，计算过程中数据处理造成的精度损失处在可控范围；安全性高，计算过程中输入及中间数据均能保证满足语义安全的要求；灵活性好，能实现两个或多个参与者参与计算；扩展性好，能从原始的梯度下降扩展到牛顿方法或批量梯度下降。

技术领域

本发明涉及机器学习的隐私保护领域，尤其涉及一种机器学习中的保护隐私数据的梯度下降计算方法。

背景技术

现代社会，机器学习技术被越来越广泛地应用于各个领域，如医疗、商业、教育以及公共安全。但是，在机器学习过程中涉及大量隐私数据，尤其是在这些数据分属于不同的数据提供者的场景下，存在着一系列的隐私泄露的威胁，因此，具有隐私保护的机器学习算法一直是学术界的一个研究热点。其中，梯度下降算法是机器学习领域中的一种重要优化方法，其被广泛用于多种机器学习算法的训练过程中，包括逻辑回归、矩阵分解以及神经网络等算法。保护隐私的梯度下降算法的研究对具有隐私保护的机器学习算法的设计具有重要的意义。

对于要实现在梯度下降算法中保护隐私数据，现有大都采用一些安全性较低的线性加密或差分隐私方法设计出具有一定隐私保护的方案，但是这些方案很难确保所有的隐私数据不会被泄露。还有一些方案使用全同态加密方案对原始数据进行加密，同时保证了数据的保密性与计算能力，但是现阶段全同态加密算法的效率较低，限制了这些方案的实际应用。

发明内容

基于现有技术所存在的问题，本发明的目的是提供一种保护隐私数据的梯度下降计算方法，能让多方的机器学习参与者在保护各自隐私数据不被泄露的情况下，完成基于梯度下降进行优化机器学习的训练过程。

本发明的目的是通过以下技术方案实现的：

本发明实施方式提供一种保护隐私的梯度下降计算方法，该计算方法用于包括一个或多个数据提供方、一个解密服务提供方和一个计算资源提供方的机器学习中的对梯度函数计算过程中，对梯度函数计算过程中的sigmoid函数拟合是：利用与sigmoid函数轮廓相近的多项式函数对该sigmoid函数进行拟合计算，则处理步骤包括：

步骤11，同态加密密钥生成与分发：由CA机构或解密服务提供方直接生成同态加密的公私钥对，解密服务提供方保留私钥，将公钥发送给各个数据提供方与计算资源提供方；

步骤12，训练参数协商：计算资源提供方与解密服务提供方协商训练参数，各方同时协商一个与sigmoid函数轮廓近似的多项式函数及其相关参数；

步骤13，数据加密及汇总：各个数据提供方使用所述步骤11中得到的公钥利用同态加密将各自拥有的原始数据或经过初步处理的数据加密后得到密文数据，各个数据提供方将所述密文数据通过安全的信道发送给计算资源提供方；

步骤14，梯度下降过程：计算资源提供方初始化一随机的权重值；之后利用所述步骤13得到的所述密文数据计算预定义的多项式函数，利用计算出的多项式函数计算出梯度值，利用梯度值更新所述权重值；重复上述过程直至迭代次数达到预定义的迭代次数上限值或代入权重值后计算出的误差函数小于预定义的门限；最后输出处理结果为明文的权重值。

本发明实施方式还提供一种保护隐私的梯度下降计算方法，该计算方法用于包括一个或多个数据提供方、一个解密服务提供方和一个计算资源提供方的机器学习中的对梯度函数计算过程中，对梯度函数计算过程中的sigmoid函数拟合是利用与sigmoid函数轮廓相近的分段函数对该sigmoid函数进行拟合计算，则处理步骤包括：