[发明专利]保护数据隐私的业务预测模型训练方法及装置

说明书

本说明书实施例提供了一种保护数据隐私的业务预测模型训练方法及装置。在训练过程中，成员设备利用自身持有的对象特征数据，通过业务预测模型进行预测，利用预测结果确定用于更新模型参数的更新参量，其中包括针对业务预测模型的多个计算层的多个子参量；利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，第一类计算层的子参量值在指定范围以内；对第一类计算层的子参量进行隐私处理，并输出处理后子参量。多个成员设备的处理后子参量可以被聚合成聚合子参量。成员设备可以获取第一类计算层的聚合子参量，并利用聚合子参量和第二类计算层的子参量，对模型参数进行更新。

技术领域

本说明书一个或多个实施例涉及隐私保护技术领域，尤其涉及一种保护数据隐私的业务预测模型训练方法及装置。

背景技术

随着人工智能技术的发展，神经网络已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定，为了实现更好的模型性能，需要更多的训练数据。在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，一旦将这些数据进行联合训练，将极大提升模型精度。然而，不同企业或机构拥有的数据样本通常包含大量的隐私数据，一旦信息泄露，将导致不可挽回的负面影响。因此，在多方联合训练解决数据孤岛问题的场景下，保护数据隐私成为近年来研究的重点。

因此，希望能有改进的方案，可以在多方联合训练的场景下，尽可能提高对各方隐私数据的保护。

发明内容

本说明书一个或多个实施例描述了保护数据隐私的业务预测模型训练方法及装置，以在多方联合训练的场景下，尽可能提高对各方隐私数据的保护。具体的技术方案如下。

第一方面，实施例提供了一种保护数据隐私的业务预测模型训练方法，通过服务器和多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法通过任意一个成员设备执行，包括：

利用所述成员设备持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，并包括针对多个计算层的多个子参量；

利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算层的子参量值在指定范围以内，所述第二类计算层的子参量值在所述指定范围之外；

对第一类计算层的子参量进行隐私处理，并输出处理后子参量；

获取所述第一类计算层的聚合子参量，所述聚合子参量是基于两个以上成员设备的处理后子参量进行聚合而得到，并与两个以上成员设备的对象特征数据相关联；

利用所述聚合子参量和所述第二类计算层的子参量，对模型参数进行更新。

在一种实施方式中，所述更新参量采用模型参数梯度或者模型参数差值实现；其中，所述模型参数梯度基于本次训练中得到的预测损失确定；

所述模型参数差值采用以下方式确定：

获取本次训练的初始模型参数以及本次训练中得到的模型参数梯度；

利用所述模型参数梯度对所述初始模型参数进行更新，得到模拟更新参数；

基于所述初始模型参数与所述模拟更新参数的差值，确定模型参数差值。

在一种实施方式中，所述通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量的步骤，包括：

将对象的对象特征数据输入所述业务预测模型，通过所述业务预测模型中包含模型参数的多个计算层对对象特征数据的处理，得到该对象的预测结果；

基于该对象的预测结果与该对象的标注信息之间的差值，确定预测损失；

基于所述预测损失确定与该对象特征数据关联的更新参量。