[发明专利]一种对业务预测模型进行多方联合训练的方法及装置

权利要求书

1.一种对业务预测模型进行多方联合训练的方法，其中，第一设备和第二设备分别拥有业务预测模型中的第一部分模型和第二部分模型，所述方法包括：

所述第一设备，获取第一输入数据，利用所述第一输入数据确定所述第一部分模型的第一输出数据，并将其发送至所述第二设备；基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片；

所述第二设备，接收所述第一设备发送的第一输出数据，并基于所述第一输出数据确定第二输入数据，利用所述第二输入数据确定所述第二部分模型的第二输出数据；基于所述第二输出数据和所述第一输出数据，确定用于对所述第一部分模型进行更新的第二梯度分片，并将其发送至所述第一设备；

所述第一设备，接收所述第二设备发送的第二梯度分片，利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新。

2.根据权利要求1所述的方法，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

在接收所述第二设备发送的第二梯度分片之前，基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片。

3.根据权利要求1所述的方法，所述第一部分模型包含多个计算层；所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

基于所述第一输出数据，确定所述第一部分模型中多个计算层分别对应的第一梯度分片；

所述利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新的步骤，包括：

针对任意一个计算层，利用该计算层的第一梯度分片和所述第二梯度分片，对该计算层中的模型参数进行更新。

4.根据权利要求1所述的方法，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片。

5.根据权利要求4所述的方法，所述基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片的步骤，包括：

获取所述第一部分模型的计算图；

利用所述计算图，确定所述第一输出数据对所述第一部分模型中多个模型参数的偏导数，基于多个偏导数确定所述第一梯度分片。

6.根据权利要求1所述的方法，所述利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新的步骤，包括：

基于所述第一梯度分片与所述第二梯度分片的乘积，确定针对所述第一部分模型的第一梯度；

利用所述第一梯度，对所述第一部分模型进行更新。

7.根据权利要求6所述的方法，所述基于所述第一梯度分片与所述第二梯度分片的乘积，确定针对所述第一部分模型的第一梯度的步骤，包括：

分别将所述第一梯度分片和所述第二梯度分片进行展平；

基于展平后的所述第一梯度分片和所述第二梯度分片的乘积，确定所述第一梯度。

8.根据权利要求1所述的方法，所述第二输出数据为样本的标签预测值；

所述第二设备，在确定所述第二梯度分片时，包括：

基于所述第二输出数据确定样本的预测损失；

基于所述预测损失和所述第一输出数据，确定所述第二梯度分片。