[发明专利]基于差分隐私的决策树建模方法、预测方法、设备及介质

说明书

本发明公开了基于差分隐私的决策树建模方法、预测方法、设备及介质，该决策树建模方法利用差分隐私保护一阶导数和二阶导数，通过产生随机浮点数Δrate，只会随机发送一部分导数到被动方，被动方无法通过收到的一阶导数和二阶导数进行反推标签y，同时因为主动方知道Δrate的具体值，所以主动方可以通过Δrate将被动方返还的各个分箱的导数和还原，从而不影响计算最佳切分点。该决策树预测方法包括获取待测样本，并将待测样本输入至决策树分类模型中，以通过决策树分类模型获得待测样本的预测分类结果；所述决策树分类模型采用所述决策树建模方法构建得到的决策树分类模型。本发明避免了密文计算，大大降低了CPU开销和网络开销。

技术领域

本发明涉及人工智能领域、数据保护技术领域，具体涉及基于差分隐私的决策树建模方法、预测方法、设备及介质。

背景技术

目前数据隐私安全越来越受到重视，但是人工智能的模型的精度则很大程度上依赖于数据的维度。在个人隐私数据保护以及商业利益的共同驱动下，诞生了联邦学习技术。该技术能够在不使用个人隐私数据的情况下完成机器学习建模。

在联邦学习实现的众多模型中，最常用的算法模型就是secureboost。该算法是xgboost算法的联邦学习版本，是一种集成多棵决策树的联合建模方法，该方法于2019年年底由微众银行提出。

在原有的解决方案当中，为了保障建模的主动方不泄露标签y，主动方发送给合作方的一阶导数g以及二阶导数h均采用同态加密算法加密后发送，被动方此时由于没有解密私钥，无法通过[[g]]和[[h]]反推主动方的标签列y，但被动方可以计算各个分桶的一阶导数的和以及二阶导数的和。求得各个分桶的导数和信息之后返还给主动方，主动方解密后就能计算各个分位点带来的增益gain，从而指导决策树的分裂。

现有的方案有如下缺陷：

1、主动方需要将所有数据的一阶导数g以及二阶导数h的密文[[g]]以及[[h]]发送至合作方，按照一般的加密标准1024bit计算，每行数据至少发送两个密文，也就是256字节。当训练数据规模较大时，网络带宽压力很大。

2、被动方需要对每个分箱当中的[[g]]和[[h]]进行求和，这里因为[[g]]和[[h]]均为密文，所以只能使用同态加密求和，按照一般较为通用的同态加密算法paillier的实现来看，求和的具体操作是将密文进行相乘，并且再对公钥当中的n^2取余。而密文是一个大数，大数的乘法以及取余均会消耗大量的计算资源。

发明内容

本发明所要解决的技术问题是现有基于联邦学习的决策树建模方法中主动方发送给合作方的一阶导数g以及二阶导数h均采用同态加密算法加密后发送，当训练数据规模较大时，存在网络带宽压力大的缺陷；被动方需要对每个分箱当中的[[g]]和[[h]]进行求和，只能使用同态加密求和，存在计算资源消耗量大、执行速度慢等问题。

本发明目的在于提供基于差分隐私的决策树建模方法、预测方法、设备及介质，本发明的决策树建模方法采用差分隐私的思路，不再使用同态加密之后的结果给被动方，而是给g和h的一部分到被动方，此时被动方收到的数据不再是密文而是一个浮点数，通信量大大减少，一般一个浮点数只有8字节，根据实验结果，传输数据量仅为现有技术方案的10％。另外被动方由于接收到的是浮点数，也避免了执行同态加密加法，而只需要进行浮点数加法即可，根据实验结果显示，决策树的执行速度提升了3.5倍左右。

本发明通过下述技术方案实现：

第一方面，本发明提供了基于差分隐私的决策树建模方法，该决策树建模方法应用于进行联邦学习和差分隐私的第一设备，第一设备采用联邦学习和差分隐私与第二设备进行交互，所述第一设备作为主动方，第二设备作为被动方；该决策树建模方法包括：