[发明专利]保护数据隐私的业务预测模型训练方法及装置

权利要求书

1.一种保护数据隐私的业务预测模型训练方法，所述业务预测模型通过多个成员设备联合训练，所述业务预测模型包括多个计算层，所述方法通过任意一个成员设备执行，包括：

利用所述成员设备持有的多个对象的对象特征数据，通过业务预测模型进行预测，利用对象的预测结果确定与对象特征数据关联的更新参量，所述更新参量用于更新模型参数，所述更新参量包括针对多个计算层的多个子参量；

利用多个子参量，将多个计算层划分成第一类计算层和第二类计算层，所述第一类计算层的子参量值在指定范围以内，所述第二类计算层的子参量值在所述指定范围之外；

对所述第一类计算层的子参量进行隐私处理，并输出处理后子参量；

获取所述第一类计算层的聚合子参量，所述聚合子参量是基于两个以上成员设备的处理后子参量进行聚合而得到，所述聚合子参量与两个以上成员设备的对象特征数据相关联；

利用所述聚合子参量和所述第二类计算层的子参量，对模型参数进行更新。

2.根据权利要求1所述的方法，所述更新参量采用模型参数梯度或者模型参数差值实现；其中，所述模型参数梯度基于本次训练中得到的预测损失确定；

所述模型参数差值采用以下方式确定：

获取本次训练的初始模型参数以及本次训练中得到的模型参数梯度；

利用所述模型参数梯度对所述初始模型参数进行更新，得到模拟更新参数；

基于所述初始模型参数与所述模拟更新参数的差值，确定模型参数差值。

3.根据权利要求1所述的方法，所述将多个计算层划分成第一类计算层和第二类计算层的步骤，包括：

利用子参量包含的向量元素，确定多个子参量分别对应的子参量表征值，所述子参量表征值用于表征对应的子参量的数值大小；

利用多个子参量表征值，将多个计算层划分成第一类计算层和第二类计算层。

4.根据权利要求3所述的方法，所述子参量表征值采用以下中的一种实现：范数值、均值、方差值、标准差值、最大值、最小值或者最大值与最小值的差值。

5.根据权利要求3所述的方法，所述第一类计算层的所述子参量表征值大于所述第二类计算层的所述子参量表征值。

6.根据权利要求1所述的方法，所述指定范围包括：多个子参量值的数量级在预设量级范围内。

7.根据权利要求1所述的方法，所述对所述第一类计算层的子参量进行隐私处理的步骤，包括：

基于(ε,δ)-差分隐私算法，确定针对所述第一类计算层的子参量的噪声数据；

将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加，得到对应的处理后子参量。

8.根据权利要求7所述的方法，所述确定针对所述第一类计算层的子参量的噪声数据的步骤，包括：

利用差分隐私参数ε和δ，计算高斯噪声的噪声方差值；

基于所述噪声方差值，针对所述第一类计算层的子参量包含的向量元素生成对应的噪声数据。

9.根据权利要求7所述的方法，在将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加之前，还包括：

利用所述第一类计算层对应的若干个子参量，确定用于标识所述第一类计算层的子参量的总体表征值；

利用所述总体表征值和预设的裁剪参数，对所述第一类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；

所述将所述噪声数据分别与所述第一类计算层的对应子参量进行叠加的步骤，包括：

将所述噪声数据分别与所述第一类计算层的对应裁剪后子参量进行叠加。

10.根据权利要求9所述的方法，所述对所述模型参数进行更新的步骤，包括：

利用所述总体表征值和预设的裁剪参数，对所述第二类计算层的子参量进行数值裁剪，得到对应的裁剪后子参量；

利用所述聚合子参量和所述第二类计算层的裁剪后子参量，对所述模型参数进行更新。