[发明专利]在硬件中执行核心跨越

权利要求书

1.一种计算机实现的方法，包括：

接收在专用硬件电路上实现卷积神经网络的请求，并且通过使所述专用硬件电路执行指令来接收和处理神经网络输入，所述神经网络包括具有大于1的步长的第一卷积神经网络层，所述专用硬件电路是用于执行神经网络计算的集成电路并且包括矩阵计算单元和包括池化电路的向量计算单元，所述矩阵计算单元适合于执行向量矩阵乘法，所述池化电路适合于在所述矩阵计算单元的输出上执行池化；以及

响应于接收到所述请求，产生指令，所述指令在被所述专用硬件电路执行时使所述专用硬件电路在所述神经网络处理输入张量期间通过执行下列操作产生等效于所述第一卷积神经网络层的输出的层输出张量：

所述矩阵计算单元使用第二卷积神经网络层来处理对所述第一卷积神经网络层的所述输入张量以产生第一张量，所述第二卷积神经网络层具有等于1的步长但除此以外等效于所述第一卷积神经网络层；

所述向量计算单元将如果所述第二卷积神经网络层具有所述第一卷积神经网络层的步长则本就不会被生成的所述第一张量的元素归零以生成第二张量；以及

所述向量计算单元的所述池化电路在所述第二张量上执行最大池化以生成所述层输出张量，

其中所述向量计算单元将所述第一张量的元素归零包括：

所述向量计算单元执行掩蔽张量和所述第一张量的元素乘法以生成所述第二张量，其中所述掩蔽张量包括(i)在对应于如果所述第二卷积神经网络层具有所述第一卷积神经网络层的步长则本就不会被生成的所述第一张量的元素的所述掩蔽张量的每个元素位置处的零，和(ii)在所述掩蔽张量的每个其它元素位置处的1。

2.根据权利要求1所述的方法，其中所述掩蔽张量被存储在可由所述专用硬件电路访问的存储器处。

3.根据权利要求2所述的方法，其中在所述存储器处存储多个掩蔽张量以相应地对应于大于1的多个步长，以及

所述方法进一步包括在所述多个掩蔽张量当中选择与所述第一卷积神经网络层的步长相对应的掩蔽张量。

4.根据权利要求1所述的方法，其中所述向量计算单元的所述池化电路执行最大池化包括对于由所述第一卷积神经网络层的步长限定的所述第二张量的一个或多个窗口中的每个窗口都获得处于所述窗口内的元素的最大值元素。

5.根据权利要求4所述的方法，其中所述第二张量的一个或多个窗口中的每个窗口都为具有对应于所述第一卷积神经网络层的步长的尺寸的矩形窗口，并且包括所述第二张量的不同元素。

6.根据权利要求1所述的方法，其中所述向量计算单元的所述池化电路执行最大池化包括：对于所述第二张量的元素的一个或多个子集中的每个子集都获得该子集的最大值元素。

7.根据权利要求1所述的方法，其中所述输入张量是包括对应于数字图像的像素的元素的所述数字图像的表示。

8.根据权利要求1所述的方法，其中所述输入张量被存储在所述专用硬件电路的统一的缓冲器中，并且所述第二卷积神经网络层的权重被存储在所述专用硬件电路的动态存储器中，并且其中使用所述第二卷积神经网络层处理对所述第一卷积神经网络层的所述输入张量包括：

将所述输入张量从所述统一的缓冲器发送到所述矩阵计算单元；

将所述第二卷积神经网络层的权重从所述动态存储器发送到所述矩阵计算单元；以及

由所述矩阵计算单元，使用所述第二卷积神经网络层的权重处理所述输入张量以生成所述第一张量。

9.一种系统，包括：

专用硬件电路，所述专用硬件电路是用于执行神经网络计算的集成电路并且包括矩阵计算单元和包括池化电路的向量计算单元，所述矩阵计算单元适合于执行向量矩阵乘法，所述池化电路适合于在所述矩阵计算单元的输出上执行池化；以及

一个或多个存储装置，所述一个或多个存储装置存储指令，所述指令在被所述专用硬件电路执行时使所述专用硬件电路执行根据权利要求1至8中的任一项所述的方法。