[发明专利]神经网络处理器中的批处理

权利要求书

1.一种用于使用硬件电路执行神经网络计算的方法，所述方法包括：

获取要在神经网络的层处进行处理的输入的第一批，其中，所述层具有相关联的批大小；

获取所述层的权重，其中，所述权重具有相关联的重用值，所述相关联的重用值定义所述层的权重的重用的数量；

基于所述批大小和所述权重的重用值，选择要在所述层处使用所述权重处理的所述第一批中的特定数目的输入，其中，选择所述特定数目的输入以不超过：i)所述层的批大小，或ii)基于所述重用值所述权重被允许重复使用的数量；和

使用所述权重处理所述特定数目的输入以生成层输出。

2.根据权利要求1所述的方法，还包括：

基于访问所述硬件电路的存储器以获取所述层的新权重的阈值摄取时间来选择所述特定数目的输入。

3.根据权利要求1所述的方法，其中，选择所述第一批中的所述特定数目的输入包括：

确定在不同的激励输入下重复使用权重数次的计算时间至少等于访问所述层的新权重输入的摄取时间之前所述硬件电路被允许重复使用所述层的权重的次数。

4.根据权利要求3所述的方法，其中，选择所述特定数目的输入包括：

选择所述特定数目的输入使得重复使用所述权重的所述计算时间不超过访问所述层的新权重输入的所述摄取时间。

5.根据权利要求1所述的方法，其中，所述硬件电路包括计算cell的阵列，并且处理所述特定数目的输入以生成所述层输出包括：

在第一处理器时钟周期和第二后续处理器时钟周期中，由所述阵列中的两个或更多个相应计算cell重复使用所述层的权重和所述特定数目的输入中的激励输入。

6.根据权利要求5所述的方法，其中，处理所述特定数目的输入以生成所述层输出包括：

处理多个独立的激励输入，同时重复使用所述神经网络的给定层的被加载在所述阵列中的权重，所述给定层的权重基于所述重用值来重复使用。

7.根据权利要求1所述的方法，还包括：

基于所述硬件电路的处理速度来重复使用所述层的权重，其中，重复使用所述层的权重包括重复使用权重的第一部分以处理所述特定数目的输入中的输入，同时基于所述硬件电路的处理速度来并行地从存储器访问权重的第二部分，所述权重的第二部分将在后续计算中使用。

8.根据权利要求7所述的方法，其中，所述权重重用值是基于以下中的至少一个：

所述硬件电路中包括的算术单元数量；或

所述硬件电路的用于存储要在所述神经网络的一个或多个层处进行处理的输入的多个批的存储器中包括的通道数量。

9.一种用于使用硬件电路执行神经网络计算的系统，所述系统包括：

处理器；以及

用于存储指令的非暂时性机器可读存储设备，所述指令能够由所述处理器执行以使得执行操作，所述操作包括：

获取要在神经网络的层处进行处理的输入的第一批，其中，所述层具有相关联的批大小；

获取所述层的权重，其中，所述权重具有相关联的重用值，所述相关联的重用值定义所述层的权重的重用数量；

基于所述批大小和所述权重的重用值，选择要在所述层处使用所述权重处理的所述第一批中的特定数目的输入，其中，选择所述特定数目的输入以不超过：i)所述层的批大小，或ii)基于所述重用值所述权重被允许重复使用的数量；和

使用所述权重处理所述特定数目的输入以生成层输出。

10.根据权利要求9所述的系统，其中，所述操作还包括：

基于访问所述硬件电路的存储器以获取所述层的新权重的阈值摄取时间来选择所述特定数目的输入。