[发明专利]一种基于联邦学习的超参数确定方法及装置

权利要求书

1.一种业务预测模型的训练方法，所述业务预测模型用于对输入的包含隐私数据的对象的样本特征进行业务预测；其中，所述业务预测模型的多个计算层被划分为包含连续后M个计算层的第一部分模型和包含剩余计算层的第二部分模型，所述第一部分模型部署在服务器中，所述第二部分模型部署在多个成员设备中；所述方法在所述服务器中执行，包括：

通过多次超参迭代过程确定第一超参数组，基于多个成员设备的训练集对包含该第一超参数组的业务预测模型进行训练；所述训练集包括对象的样本特征，所述对象包括用户、店铺、商品、事件中的一种；

其中，所述多次超参迭代过程中的任意一次超参迭代过程包括：

获取所述业务预测模型的第一超参数组，其中包括针对多个成员设备中的各个成员设备的多个超参数向量；

将所述多个超参数向量分别发送至对应的成员设备；

多次执行针对所述业务预测模型的模型迭代过程，任意一次模型迭代过程包括：将所述第一部分模型的第一模型参数分别发送至多个成员设备，利用安全聚合算法，通过成员设备与服务器之间的数据交互，使得所述服务器得到将多个分立参数梯度进行聚合之后的聚合参数梯度，基于所述聚合参数梯度对所述第一模型参数进行更新；其中，任意一个成员设备的分立参数梯度，基于该成员设备存储的训练集和所述第二部分模型、以及接收的超参数向量和所述第一模型参数得到的预测损失而确定；

在多次模型迭代过程完成后，利用安全聚合算法，通过成员设备与服务器之间的数据交互，使得所述服务器得到将多个分立预测性能值进行聚合之后的聚合预测性能值；所述分立预测性能值基于多个成员设备利用各自的测试集对所述业务预测模型的预测性能进行测试而得到；

基于所述聚合预测性能值，更新所述第一超参数组。

2.根据权利要求1所述的方法，任意一个超参数向量包括：第一部分模型的超参数和第二部分模型的超参数。

3.根据权利要求1所述的方法，其中，当所述任意一次超参迭代过程为第一次超参迭代过程时，在所述第一超参数组中，多个成员设备的超参数向量的取值相同或不同。

4.根据权利要求1所述的方法，还包括：

当针对所述第一超参数组的更新操作满足预设终止条件时，终止所述超参迭代过程。

5.根据权利要求4所述的方法，在所述超参迭代过程终止之后，还包括：

从多次超参迭代过程的第一超参数组和对应的聚合预测性能值中，确定多个聚合预测性能值中的最优值，将所述最优值对应的第一超参数组选择为所述业务预测模型的超参数组。

6.根据权利要求1所述的方法，所述基于所述聚合预测性能值，更新所述第一超参数组的步骤，包括：

基于所述聚合预测性能值，利用贝叶斯优化算法，更新所述第一超参数组。

7.根据权利要求1所述的方法，所述使得所述服务器得到将多个分立参数梯度进行聚合之后的聚合参数梯度的步骤，包括：

利用安全聚合算法，基于与多个成员设备之间的数据交互，使得所述服务器得到多个分立参数梯度的和值或者均值，作为聚合参数梯度。

8.根据权利要求1所述的方法，所述使得所述服务器得到将多个分立预测性能值进行聚合之后的聚合预测性能值的步骤，包括：

利用安全聚合算法，基于与多个成员设备之间的数据交互，使得所述服务器得到多个分立预测性能值的均值或加权均值，作为聚合预测性能值。

9.根据权利要求1所述的方法，所述安全聚合算法包括秘密分享算法。

10.根据权利要求1所述的方法，所述样本特征包括以下特征组中的多个：对象的基本属性特征、对象的历史行为特征、对象的关联关系特征、对象的交互特征、对象的身体指标特征。