[发明专利]分布式梯度提升决策树实现全面隐私保护的方法

说明书

本发明提出一种分布式梯度提升决策树实现全面隐私保护的方法，它使用差分隐私DP和全同态加密FHE来实现全面的隐私保护。在训练阶段，数据所有者向不受信任的服务器发送受DP保护的训练树，而不是加密数据。在预测阶段，使用FHE将用户的查询数据和预测结果隐藏在服务器中。为了进一步提高预测效率，该框架提出了一个对FHE友好的多项式近似计算，这样就可以有效地实现开销巨大的比较操作。与目前的隐私保护工作相比，该框架实现了低运行时间和与非隐私保护方案相当的通信开销，同时仅有一小部分的性能损失。

技术领域

本发明设计信息安全技术领域，具体涉及分布式梯度提升决策树隐私保护技术。

技术背景

最近，许多科技公司如谷歌和微软提供机器学习服务MLaaS，以提供自动训练和预测服务。如图1所示，这是个典型的MLaaS场景，即服务器Sever希望使用数据所有者DataOwner提供的数据建立一个梯度提升决策树GBDT模型，并为接收查询用户User发送的查询样本Testing data提供预测Predictions服务。然而，这种模式会导致严重的隐私问题，例如将敏感的训练数据和查询样本泄露给不受信任的服务器。

为了缓解这样的问题，一些工作已经探索了设计保护隐私的决策树方法，但是现有的隐私保护决策树框架要么增加了大量的开销，要么没有实现对样本、预测结果和中间值的全面隐私保护。因此，迫切需要设计一种高效、私密的分布式决策树方案，为训练和预测阶段提供全面的隐私保护。

发明内容

本发明要解决的技术问题是，提供一种端到端分布式梯度提升决策树框架从而为分布式GBDT训练和预测阶段提供全面隐私保护的方法。

本发明为解决上述技术问题所采用的技术方案是，分布式梯度提升决策树实现全面隐私保护的方法，包括以下步骤：

训练阶段:

每个客户端在本地训练满足差分隐私DP定义的梯度提升决策树GBDT；在训练阶段，通过DP来实现训练数据的隐私保护；

各客户端使用多项式近似的方法将GBDT转换为对应多项式近似树PAT，并将PAT发送给服务器；

预测阶段:

用户端生成公私钥对，将公钥加密之后的查询数据以及公钥发送给服务器；通过公钥加密来实现查询数据的隐私保护；

服务器使用全同态加密FHE将加密之后的查询数据在每个PAT上进行预测得到预测结果并发送给用户端；查询结果的隐私通过FHE和多项式近似实现；

用户端解密预测结果，对于分类问题，在预测结果中选择众数作为最终结果；对于回归问题，在预测结果中选择平均值作为最终结果。

本发明提出一种结合GBDT、DP、FHE以及多项式近似的隐私保护框架，在训练阶段和预测阶段都不同于现有的隐私保护方法。

梯度提升决策树GBDT是一种现有集合机器学习算法，以顺序的方式训练一些决策树作为基础学习者。GBDT包括两个主要步骤：在每个数据集上局部训练一棵回归树(弱学习器)；然后按特殊顺序将它们提升为一组树。

本发明的有益效果是：能够提供完整的隐私保护；降低了通信和计算开销；能够抵御恶意的服务器，并且只有一小部分性能的损失。

附图说明

图1为MLaaS的场景示意图；

图2为实施例流程示意图；

图3为基于PAT树的密文预测示意图。

具体实施方式

如图2所示，本发明方法包括步骤：

(1)n个客户端在本地数据集上使用差分隐私DP训练自身的梯度提升决策树，分别得到在训练时加入差分隐私噪声DP-noise。