[发明专利]用于神经网络处理器的预取权重

说明书

本申请涉及用于对神经网络执行神经网络计算的电路，该电路包括：脉动阵列，该脉动阵列包括多个单元格；权重提取单元，对于多个神经网络层的每个神经网络层，该权重提取单元被配置为：对于该神经网络层，将多个权重输入发送到沿着脉动阵列的第一维度的单元格；以及多个权重定序器单元，每个权重定序器单元均耦合到沿着脉动阵列的第一维度的不同的单元格，对于多个神经网络层中的每个神经网络层，多个权重定序器单元被配置为：对于该神经网络层，在多个时钟周期中将多个权重输入转移到沿着脉动阵列的第二维度的单元格，并且其中各个单元格被配置为使用乘法电路计算激活输入与相应的权重输入的乘积。

分案说明

本申请属于申请日为2016年04月29日的中国发明专利申请No.201680020202.X的分案申请。

技术领域

本说明书涉及在硬件上计算神经网络推理。

背景技术

神经网络是机器学习模型，其采用一层或多层模型来为接收的输入生成输出，例如分类。除了输出层以外，一些神经网络包括一个以上的隐藏层。各个隐藏层的输出被用作网络中下一层的输入，即网络的下一隐藏层或者输出层。网络的各层根据相应组的参数的当前值，从接收的输入生成输出。

一些神经网络包括一个或多个卷积神经网络层。各个卷积神经网络层具有相关的一组核。各个核包括通过用户创建的神经网络模型所建立的值。在一些实现中，核识别特定的图像轮廓、形状或颜色。核能够被表示为权重输入的矩阵结构。各个卷积层还可以处理一组激活输入。所述一组激活输入也能够被表示为矩阵结构。

一些现有的系统在软件中对给定的卷积层进行计算。例如，软件能够将用于层的各个核应用到所述一组激活输入。即，对于各个核，软件能够将能够多维地表示的核覆盖在能够多维地表示的激活输入的第一部分上。软件然后能够从重叠的元素中计算点积。点积能够对应于单个的激活输入，例如在重叠的多维空间中具有上左方位置的激活输入元素。例如，使用滑动窗，软件然后能够将核转移为覆盖激活输入的第二部分，并且计算与另一激活输入对应的另一点积。软件能够重复地执行该过程，直到各个激活输入具有对应的点积。在一些实现中，点积被输入到生成激活值的激活函数。激活值能够在发送到神经网络的下一层之前被组合，例如被合并。

卷积计算的一种计算方式需要在大尺寸空间中的大量矩阵乘法。处理器能够通过穷举法计算矩阵乘法。例如，尽管是计算密集型的和时间密集型的，但处理器可以重复计算用于卷积计算的各个总和及乘积。由于该架构，限制了处理器的并行计算的程度。

发明内容

大体上，本说明书描述了一种计算神经网络推理的专用的硬件电路。

大体上，本说明书中描述的本主题的一个创新性方面能够体现在用于对包括多个层的神经网络执行神经网络计算的电路中，所述电路包括：脉动阵列，该脉动阵列包括多个单元格；权重提取单元，对于多个神经网络层中的每个神经网络层，该权重提取单元被配置为：对于该神经网络层，将多个权重输入发送到沿着所述脉动阵列的第一维度的单元格；以及多个权重定序器单元，每个权重定序器单元均耦合到沿着所述脉动阵列的所述第一维度的不同的单元格，对于所述多个神经网络层中的每个神经网络层，所述多个权重定序器单元被配置为：对于该神经网络层，在多个时钟周期中将所述多个权重输入转移到沿着所述脉动阵列的第二维度的单元格，其中各个权重输入被存储在沿着所述第二维度的相应的单元格内，并且其中各个单元格被配置为使用乘法电路计算激活输入与相应的权重输入的乘积。