[发明专利]一种无第三方的联邦梯度提升决策树模型训练方法

说明书

本发明公开了一种无第三方的联邦梯度提升决策树模型训练方法。它包括以下步骤：训练发起方、训练参与方同步初始化；训练发起方、训练参与方同步采样d个样本数据集；训练发起方、训练参与方对各自样本数据集中的每个特征数据进行分箱、记录分箱信息并进行比特切片存储；训练发起方计算出自身每个样本数据集的每个特征数据的每个分箱对应的一阶梯度和、二阶梯度和，训练发起方、训练参与方根据安全乘法协议计算出训练参与方的样本数据集中每个特征数据的每个分箱对应的一阶梯度和、二阶梯度和；训练发起方搜索最优分裂点，将结果同步给训练参与方；重复上述步骤，直到达到终止条件。本发明保护了数据安全，降低存储空间，大幅压缩通信量。

技术领域

本发明涉及梯度提升决策树模型训练技术领域，尤其涉及一种无第三方的联邦梯度提升决策树模型训练方法。

背景技术

联邦梯度提升决策树模型既可以解决分类问题又可以处理回归问题，还具备较好的可解释能力，因而在联邦学习领域特别是银行风控领域得到广泛应用。联邦梯度提升决策树模型是一类实用性很强的树模型，在联邦梯度提升决策树模型中，各个参与方基于本地数据计算决策树的一阶导数和二阶导数，根据切分增益决定最佳特征和切分点，这一过程中需要对不同参与方的一阶导数和二阶导数做加法，可以使用加性同态加密保护各个参与方的数据隐私在树模型构建过程中不泄露给其他参与方。

目前联邦梯度提升决策树模型是银行和运营商之间联合风控建模的主要方法之一，联邦梯度提升决策树模型建模具有精度高，可解释性强的特点，但是这种方式目前有以下几个缺点：

1、目前工业界联邦梯度提升决策树模型以半同态加密为主，计算开销极大。工信部直属信通院隐私计算第一批性能评测数据表明，工业界900个特征40万样本的联邦树建模平均耗时为2小时23分47秒，难以满足工业界需求；

2、有第三方辅助参与训练，进行模型参数分发同步，而实际商业落地较难找到可信的第三方，存在数据泄露风险；

3、现有的特征值存储效率低下，900个特征40万样本的数据集需占用3.9G空间。如果联邦梯度提升决策树模型训练的中间结果保存在本地磁盘，一次联邦梯度提升决策树模型训练就需耗费10G以上的空间。

发明内容

本发明为了解决上述技术问题，提供了一种无第三方的联邦梯度提升决策树模型训练方法，其在训练发起方、训练参与方相互数据不出库的情况下完成训练，整个过程无需第三方参与，保护了数据安全，使用比特切片方法存储特征数据对应的分箱信息以及样本数据集x对应的一阶梯度、二阶梯度，降低存储空间，压缩搜索最优分裂点的时间，在保证训练精度的同时大幅压缩通信量。

为了解决上述问题，本发明采用以下技术方案予以实现：

本发明的一种无第三方的联邦梯度提升决策树模型训练方法，用于银行和运营商之间联合风控建模，包括以下步骤：

S1：训练发起方、训练参与方同步初始化各自联邦梯度提升决策树模型的模型参数；

S2：训练发起方从自身数据库中采样d个样本数据集x，每个样本数据集X具有唯一对应的ID，所述样本数据集x包含n个特征数据，训练参与方从自身数据库中同步采样与训练发起方采样的d个样本数据集x具有同样ID的d个样本数据集y，每个样本数据集y具有唯一对应的ID，所述样本数据集y包含m个特征数据；

S3：训练发起方对每个样本数据集x中的每个特征数据进行分箱并记录对应的分箱信息，训练参与方对每个样本数据集y中的每个特征数据进行分箱并记录对应的分箱信息，每个特征数据的分箱数量都为N；

S4：训练发起方对样本数据集x的每个特征数据对应的所有分箱信息进行比特切片存储，训练参与方对样本数据集y的每个特征数据对应的所有分箱信息进行比特切片存储；

S5：训练发起方计算出每个样本数据集x对应的一阶梯度、二阶梯度，将计算出的所有一阶梯度进行比特切片存储，将计算出的所有二阶梯度进行比特切片存储；