[发明专利]分布式系统中的神经网络训练

权利要求书

1.一种非暂时性计算机可读介质，其存储指令，所述指令当由一个或多个硬件处理器执行时致使所述一个或多个硬件处理器：

执行用于神经网络的第二层的向后传播计算以产生第二权重梯度；

将所述第二权重梯度分裂为若干部分；

致使硬件接口与第二计算机系统交换所述第二权重梯度的第一部分；

当所述第二权重梯度的所述第一部分的所述交换在进行中时执行用于所述神经网络的第一层的向后传播计算以产生第一权重梯度，所述第一层在所述神经网络中是比所述第二层低的层；

在所述第二权重梯度的所述第一部分的传输完成之后，致使所述硬件接口将所述第一权重梯度传输到所述第二计算机系统；以及

在所述第一权重梯度的所述传输完成之后，致使所述硬件接口将所述第二权重梯度的剩余部分传输到所述第二计算机系统。

2.根据权利要求1所述的非暂时性计算机可读介质，其中所述第二权重梯度是在所述第一权重梯度之前产生的。

3.根据权利要求1或2所述的非暂时性计算机可读介质，其进一步存储指令，所述指令当由一个或多个硬件处理器执行时致使所述一个或多个硬件处理器：

将所述第二权重梯度的每一部分指派于多个第一交换任务中的每一个；

在缓冲器中循序地存储所述多个第一交换任务；以及

接收硬件接口空闲的指示：

从所述缓冲器检索所述多个第一交换任务中的第一交换任务；以及

基于以下各项执行所述第一交换任务：

致使所述硬件接口将指派于所述多个第一交换任务中的所述一个的所述第二权重梯度的所述第一部分传输到所述第二计算机系统；以及

经由所述硬件接口从所述第二计算机系统接收第三权重梯度。

4.根据权利要求3所述的非暂时性计算机可读介质，其进一步存储指令，所述指令当由一个或多个硬件处理器执行时致使所述一个或多个硬件处理器：

将所述第一权重梯度划分成多个部分；

将所述第一权重梯度的每一部分指派于多个第二交换任务中的每一个；

在所述多个第一交换任务之后在所述缓冲器中循序地存储所述多个第二交换任务；以及

响应于确定所述第二权重梯度的所述部分的所述传输和所述第三权重梯度的所述接收完成：

循序地从所述缓冲器检索所述多个第二交换任务中的每一个；以及

基于致使所述硬件接口传输指派于所述多个第二交换任务中的所述每一个的所述第一权重梯度的每一部分而执行所述多个第二交换任务中的所述每一个；

循序地从所述缓冲器检索剩余第一交换任务中的每一个；以及

基于致使所述硬件接口传输指派于所述剩余第一交换任务中的所述每一个的所述第二权重梯度的每一部分而执行所述剩余第一交换任务中的所述每一个。

5.根据权利要求4所述的非暂时性计算机可读介质，其中基于所述第一层在所述神经网络中是比所述第二层更低的层而在所述剩余第一交换任务之前从所述缓冲器检索所述多个第二交换任务。

6.根据权利要求4或5所述的非暂时性计算机可读介质，其中基于所述多个第二交换任务比所述多个第一交换任务更晚存储于所述缓冲器中而在所述剩余第一交换任务之前从所述缓冲器检索所述多个第二交换任务。

7.根据权利要求4到6中任一项所述的非暂时性计算机可读介质，其中以所述多个第二交换任务存储于所述缓冲器中的反向次序循序地从所述缓冲器检索所述多个第二交换任务；且

其中遵循从所述缓冲器检索所述多个第二交换任务的次序来传输所述第一权重梯度的每一部分。

8.根据权利要求4到7中任一项所述的非暂时性计算机可读介质，其中所述第一权重梯度和第二权重梯度的每一部分的大小是基于以下各项中的至少一个确定的：在将所述权重梯度传输到所述第二计算机系统中的某一程度的网络效率，或所述神经网络的训练的目标完成时间。