[发明专利]一种对业务预测模型进行多方联合训练的方法及装置

说明书

本说明书实施例提供了一种对业务预测模型进行多方联合训练的方法及装置。其中，第一设备和第二设备分别拥有完整模型中的第一部分模型和第二部分模型。第一设备利用第一输入数据确定第一部分模型的第一输出数据，并将其发送至第二设备，接着，基于第一输出数据确定用于对第一部分模型进行更新的第一梯度分片。第二设备利用第一设备发送的第一输出数据确定第二部分模型的第二输出数据。然后，第二设备基于第二输出数据和第一输出数据，确定用于对第一部分模型进行更新的第二梯度分片，并将其发送至第一设备。这样，第一设备可以利用第一梯度分片和第二梯度分片，对第一部分模型进行更新。在该过程中，多个设备并不将各自的隐私数据向外发送。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种对业务预测模型进行多方联合训练的方法及装置。

背景技术

随着人工智能技术的发展，神经网络已逐渐应用于风险评估、语音识别、人脸识别和自然语言处理等领域。不同应用场景下的神经网络结构已经相对固定，为了实现更好的模型性能，需要更多的训练数据。在医疗、金融等领域，不同的企业或机构拥有不同的数据样本，将这些样本数据进行联合训练，将极大地提升模型精度。因此，多方联合训练模型成为近年来的研究热点。在多方联合训练模型的过程中，多个参与方的设备通过相互间的数据传输，完成联合训练。在迭代训练过程中，设备之间需要进行大量的数据传输。

因此，希望能有改进的方案，在多方联合训练模型的过程中，能够综合考虑设备的算力，提高设备之间的整体处理效率。

发明内容

本说明书一个或多个实施例描述了一种对业务预测模型进行多方联合训练的方法及装置，以在多方联合训练模型的过程中，综合考虑设备的算力，提高设备之间的整体处理效率。具体的技术方案如下。

第一方面，实施例提供了一种对业务预测模型进行多方联合训练的方法，其中，第一设备和第二设备分别拥有业务预测模型中的第一部分模型和第二部分模型，所述方法包括：

所述第一设备，获取第一输入数据，利用所述第一输入数据确定所述第一部分模型的第一输出数据，并将其发送至所述第二设备；基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片；

所述第二设备，接收所述第一设备发送的第一输出数据，并基于所述第一输出数据确定第二输入数据，利用所述第二输入数据确定所述第二部分模型的第二输出数据；基于所述第二输出数据和所述第一输出数据，确定用于对所述第一部分模型进行更新的第二梯度分片，并将其发送至所述第一设备；

所述第一设备，接收所述第二设备发送的第二梯度分片，利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新。

在一种实施方式中，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

在接收所述第二设备发送的第二梯度分片之前，基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片。

在一种实施方式中，所述第一部分模型包含多个计算层；所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

基于第一输出数据，确定所述第一部分模型中多个计算层分别对应的第一梯度分片；

所述利用所述第一梯度分片和所述第二梯度分片，对所述第一部分模型进行更新的步骤，包括：

针对任意一个计算层，利用该计算层的第一梯度分片和所述第二梯度分片，对该计算层中的模型参数进行更新。

在一种实施方式中，所述基于所述第一输出数据，确定用于对所述第一部分模型进行更新的第一梯度分片的步骤，包括：

基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片。

在一种实施方式中，所述基于所述第一输出数据对所述第一部分模型的偏导数，确定所述第一梯度分片的步骤，包括：

获取所述第一部分模型的计算图；