[发明专利]基于Soft GBDT的跨特征联邦学习方法、预测方法

说明书

本公开是关于一种基于Soft GBDT的跨特征联邦学习方法、数据预测方法及装置，涉及机器学习技术领域，该基于Soft GBDT的跨特征联邦学习方法包括：利用Soft GBDT计算第一特征数据在Soft GBDT中的第一内节点的第一线性回归部分；计算第一线性回归部分以及第二线性回归部分在Soft GBDT中的叶子节点的输出值，并计算Soft GBDT中所包括的当前软决策树的局部损失函数；根据局部损失函数计算Soft GBDT的全局损失函数，并根据全局损失函数计算第一内节点的第一梯度，以对Soft GBDT的第一内节点的参数进行更新。本公开有利于加快模型训练速度，提高模型训练效率。

技术领域

本公开实施例涉及机器学习技术领域，具体而言，涉及一种基于Soft GBDT的跨特征联邦学习方法、基于Soft GBDT的跨特征联邦学习装置、基于Soft GBDT的跨特征联邦预测方法、基于Soft GBDT的跨特征联邦预测装置、计算机可读存储介质以及电子设备。

背景技术

隐私保护机器学习中的跨特征场景，隶属于知识联邦理论体系中的跨特征联邦，是指多机构所使用的训练或推理样本是一致的，而特征不同，只有一个机构持有标签，训练和推理可以在多方协助下完成。

在当前的基于跨特征场景的机器学习中，基于决策树的模型方法依旧是主流的以及实用的模型训练方法。

但是，基于Boosting的决策树模型，例如XGboost，由于其内部结构是串联的，无法进行独立的计算，进而使得在联邦化计算的场景下，模型的训练速度慢，训练效率较低。

因此，需要提供一种新的基于Soft GBDT的跨特征联邦学习方法、预测方法及装置。

需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此，可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种基于Soft GBDT的跨特征联邦学习方法、基于SoftGBDT的跨特征联邦学习装置、基于Soft GBDT的跨特征联邦预测方法、基于Soft GBDT的跨特征联邦预测装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷导致的模型的训练速度慢，训练效率低的问题。

根据本公开的一个方面，提供一种基于Soft GBDT的跨特征联邦学习方法，配置于多方机器学习中提供第一特征数据以及特征标签的第一数据持有者，用于对Soft GBDT进行训练，所述基于Soft GBDT的跨特征联邦学习方法包括：

利用所述Soft GBDT计算所述第一特征数据在所述Soft GBDT中的第一内节点的第一线性回归部分；

接收第二数据持有者发送的利用所述Soft GBDT对第二特征数据进行计算得到的第二线性回归部分；

计算所述第一线性回归部分以及第二线性回归部分在所述Soft GBDT中的叶子节点的输出值，并根据所述叶子节点的输出值以及所述特征标签，计算所述Soft GBDT中所包括的当前软决策树的局部损失函数；

根据所述局部损失函数计算所述Soft GBDT的全局损失函数，并根据所述全局损失函数计算所述第一内节点的第一梯度，根据所述第一梯度对所述Soft GBDT的第一内节点的参数进行更新。

在本公开的一种示例性实施例中，计算所述第一线性回归部分以及第二线性回归部分在所述Soft GBDT中的叶子节点的输出值，包括：

对所述第一线性回归部分以及第二线性回归部分进行求和运算得到第一和运算结果；

利用所述Soft GBDT的叶子节点所在的归一化层对所述第一和运算结果进行归一化处理，得到所述第一和运算结果在所述当前软决策树所在叶子节点的输出值。