[发明专利]神经网络的反向传播的分布式权重更新

权利要求书

1.一种处理器，包括：两个或更多个处理核，用于单独地并行训练神经网络的各个部分。

2.如权利要求1所述的处理器，其中所述两个或更多个处理核将一个或更多个梯度应用到所述神经网络的不同节点集。

3.如权利要求1所述的处理器，其中至少部分地通过生成权重更新来训练所述神经网络，所述权重更新通过组合由所述两个或更多个处理核并行产生的多个部分权重更新来生成。

4.如权利要求1所述的处理器，其中所述处理器进一步将权重更新操作划分为多个部分权重更新操作，并将各个部分权重更新操作分配给所述两个或更多个处理核。

5.如权利要求4所述的处理器，其中所述部分权重更新操作是通过将初始权重和梯度更新划分为多个不同部分来产生的。

6.如权利要求4所述的处理器，其中每个部分权重更新使用不同的线程来执行。

7.如权利要求4所述的处理器，其中所述处理器进一步收集所述部分权重更新以产生所述权重更新。

8.一种系统，包括：

一个或更多个处理器，用于单独地并行训练神经网络的各个部分；以及

一个或更多个存储器，用于存储所述神经网络。

9.如权利要求8所述的系统，其中所述神经网络至少部分地通过以下步骤进行训练：

使用所述一个或更多个处理器并行生成多个部分权重更新；以及

组合所述多个部分权重更新以产生权重梯度更新。

10.如权利要求9所述的系统，其中所述多个部分权重更新是使用多个工作者线程并行产生的。

11.如权利要求9所述的系统，其中所述神经网络至少部分地通过以下步骤进行训练：

将输入前向传播通过所述神经网络以产生输出；

至少部分地基于所述输出和期望值之间的差来确定误差；以及

反向传播所述误差以确定梯度，所述多个部分权重更新至少部分地基于所述梯度。

12.如权利要求9所述的系统，其中所述多个部分权重更新至少通过以下步骤产生：

识别所述神经网络的网络节点的多个子集；以及

为所述多个子集中的每个子集产生部分权重更新。

13.如权利要求12所述的系统，其中所述多个子集是所述神经网络的权重的非重叠子集。

14.如权利要求12所述的系统，其中：

所述多个子集中的个体子集包括一定量的节点权重；以及

至少部分地基于被指派处理所述个体子集的工作者相对于被指派处理其他子集的其他工作者可获得的处理功率的量来确定所述节点权重的数量。

15.如权利要求8所述的系统，其中：

所述系统为输入值集中的每个输入确定梯度集；以及

所述梯度集被分配到所述一个或更多个处理器中的每个处理器。

16.一种方法，包括：至少部分地通过使用多个处理器单独地并行训练神经网络的不同部分来训练神经网络。

17.如权利要求16所述的方法，其中：

至少部分地通过将梯度信息分配给多个工作者来训练所述神经网络；

所述工作者并行地计算权重更新的不同部分；以及

聚合所述不同部分以产生所述神经网络的新的权重值。