[发明专利]分布式系统中的多模型训练管道

权利要求书

1.一种用于同时训练神经网络模型的分布式系统，该分布式系统包括：

第一工作者节点，被配置成：

接收第一神经网络模型、与该第一神经网络模型相关联的第一组权重、第二神经网络模型以及与该第二神经网络模型相关联的第二组权重，其中该第二神经网络模型不同于该第一神经网络模型；

使用该第一神经网络模型和该第一组权重来计算第一组梯度；

随着该第一组梯度中的每一个被计算并且变得可用于传输，通过网络将该第一组梯度传输到该第二工作者节点；

此后，使用该第二神经网络模型和该第二组权重来计算第二组梯度；并且

随着该第二组梯度中的每一个被计算并且变得可用于传输，通过该网络将该第二组梯度传输到该第二工作者节点；

第二工作者节点，被配置成：

通过该网络从该第一工作者节点接收该第一组梯度；

随着接收该一组梯度中的每一个，基于该第一组梯度和第一组其它接收到的梯度而计算第一组经同步的梯度，其中该第一组经同步的梯度的至少一部分和该第二组梯度的至少一部分是同时计算的；

通过该网络将该第一组经同步的梯度传输到该第一工作者节点；

通过该网络从该第一工作者节点接收该第二组梯度；

随着接收该二组梯度中的每一个，基于该第二组梯度和第二组其它接收到的梯度而计算第二组经同步的梯度；并且

通过该网络将该第二组经同步的梯度传输到该第一工作者节点。

2.根据权利要求1所述的分布式系统，其中该第一工作者节点被进一步配置成：

接收包括训练输入数据和参考输出数据的训练数据，其中该第一组梯度是基于该训练数据而计算的。

3.根据权利要求2所述的分布式系统，其中该第二组梯度是基于该训练数据而计算的。

4.根据权利要求1所述的分布式系统，其中该第一组梯度包含该第一神经网络模型的第一层的梯度和该第一神经网络模型的第二层的梯度，其中该第二层的梯度是在该第一层的梯度之前计算的。

5.一种方法，包括：

在分布式系统的第一工作者节点处，使用第一神经网络模型以及与该第一神经网络模型相关联的第一组权重而计算第一组梯度；

将该第一组梯度从该第一工作者节点传输到该分布式系统的第二工作者节点，该第二工作者节点被配置成基于该第一组梯度而计算第一组经同步的梯度；

在计算该第一组经同步的梯度的同时，在该第一工作者节点处，使用第二神经网络模型以及与该第二神经网络模型相关联的第二组权重而计算第二组梯度；以及

将该第二组梯度从该第一工作者节点传输到该第二工作者节点，该第二工作者节点被配置成基于该第二组梯度而计算第二组经同步的梯度。

6.根据权利要求5所述的方法，进一步包括：

从该第二工作者节点接收该第一组经同步的梯度；以及

使用该第一组经同步的梯度而调整该第一组权重。

7.根据权利要求6所述的方法，其中该第一组权重的至少一部分是在该第二组经同步的梯度的至少一部分得以计算时调整的。

8.根据权利要求6所述的方法，进一步包括：

从该第二工作者节点接收该第二组经同步的梯度；以及

使用该第二组经同步的梯度而调整该第二组权重。

9.根据权利要求5所述的方法，其中该第一组梯度的至少一部分和该第一组经同步的梯度的至少一部分是同时计算的。

10.根据权利要求5所述的方法，其中该第二组梯度的至少一部分和该第二组经同步的梯度的至少一部分是同时计算的。

11.根据权利要求5所述的方法，进一步包括：

在该第一工作者节点处接收该第一神经网络模型、该第一组权重、该第二神经网络模型和该第二组权重。