[发明专利]用于神经网络处理器的预取权重

权利要求书

1.一种用于对包括多个层的神经网络执行神经网络计算的电路，所述电路包括：

硬件矩阵计算单元，包括用于脉动阵列的电路，所述脉动阵列包括多个单元格，所述多个单元格中的每个单元格包括设置在该单元格内以用于存储从该单元格外部的源接收到的权重输入的的权重寄存器；

用于权重提取单元的硬件电路，对于所述多个神经网络层中的每个神经网络层，所述权重提取单元被配置为：

对于该神经网络层，将多个权重输入发送到沿着所述脉动阵列的第一维度的单元格；以及

用于设置在所述多个单元格中的每个单元格外部的多个权重定序器单元的硬件电路，每个所述权重定序器单元均耦合到沿着所述脉动阵列的所述第一维度的不同的单元格，对于所述多个神经网络层中的每个神经网络层，所述多个权重定序器单元中的每个权重定序器单元被配置为：

提供控制值以用于在设置在耦合到所述权重定序器单元的所述不同的单元格内的控制寄存器中存储，所述控制值用于对于该神经网络层在多个时钟周期中将所述多个权重输入转移到沿着所述脉动阵列的第二维度的单元格，其中各个权重输入被存储在使用所述权重寄存器并且沿着所述第二维度的相应的单元格内，并且其中各个所述单元格被配置为使用乘法电路来计算激活输入与相应的权重输入的乘积。

2.根据权利要求1所述的电路，还包括：

值定序器单元，对于所述多个神经网络层中的每个神经网络层，所述值定序器单元被配置为：对于该神经网络层，将多个激活输入发送到沿着所述脉动阵列的所述第二维度的单元格。

3.根据权利要求1所述的电路，其中所述脉动阵列的所述第一维度对应于所述脉动阵列的行，并且其中所述脉动阵列的所述第二维度对应于所述脉动阵列的列。

4.根据权利要求1所述的电路，其中每个单元格被配置为将权重控制信号传递到相邻的单元格，所述权重控制信号使得相邻单元格中的电路为所述相邻单元格转移或加载权重输入。

5.根据权利要求1所述的电路，其中各个单元格包括用于以下的硬件电路：

设置在所述单元格内并且耦合到所述权重寄存器的权重路径寄存器，所述权重路径寄存器被配置为存储被转移到所述单元格的权重输入；

设置在所述单元格内并且用于至少存储由所述权重定序器提供的控制值或由相邻单元格传递的权重控制信号的权重控制寄存器，所述权重控制寄存器被配置为判定是否将所述权重输入存储在所述权重寄存器中；

激活寄存器，所述激活寄存器被设置在所述单元格内并且被配置为存储激活输入，并且被配置为将所述激活输入发送到沿着所述第一维度的第一相邻单元格中的另一激活寄存器；

乘法电路，所述乘法电路被设置在所述单元格内并且耦合到所述权重寄存器和所述激活寄存器，其中所述乘法电路被配置为输出所述权重输入与所述激活输入的乘积；

加法电路，所述加法电路被设置在所述单元格内并且耦合到所述乘法电路，并且被配置为接收所述乘积以及来自沿着所述第二维度的第二相邻单元格的第一局部和，其中，所述加法电路被配置为输出所述乘积与所述第一局部和的第二局部和；以及

局部和寄存器，所述局部和寄存器被设置在所述单元格内并且耦合到所述加法电路，并且被配置为存储所述第二局部和，所述局部和寄存器被配置为将所述第二局部和发送到沿着所述第二维度的第三相邻单元格中的另一加法电路。

6.根据权利要求5所述的电路，其中，每个权重寄存器单元包括：

暂停计数器，所述暂停计数器对应于耦合到所述权重定序器单元的对应单元格中的所述权重控制寄存器；以及

递减电路，所述递减电路被配置为将到所述权重定序器单元的输入递减，以生成递减的输出，并且将所述递减的输出发送到所述暂停计数器。

7.根据权利要求6所述的电路，其中，各个暂停计数器中的值是相同的，并且各个权重定序器单元被配置为将对应的权重输入加载到所述脉动阵列的对应的不同单元格，其中所述加载包括将所述权重输入发送到所述乘法电路。