[发明专利]神经网络计算加速器及其执行的方法

权利要求书

1.一种神经网络计算加速器，其特征在于，包括：

多个硬件引擎，包括卷积引擎和至少一个第二引擎，每个硬件引擎包括执行神经网络运算的电路；和

加速器内的缓冲存储器，用于存储输入特征图的第一输入区块和至少一个第二输入区块，其中所述至少一个第二输入区块与所述第一输入区块在所述缓冲存储器中重叠；

其中所述卷积引擎运算以从所述缓冲存储器获取所述第一输入区块，对所述第一输入区块执行卷积运算以生成中间特征图的中间区块，并通过所述缓冲存储器将所述中间区块传递给所述第二引擎。

2.如权利要求1所述的加速器，其特征在于，当所述卷积引擎在至少一个所述第二输入区块上执行所述卷积运算时，所述第二引擎在所述中间区块上执行第二运算。

3.如权利要求1所述的加速器，其特征在于，所述缓冲存储器包括卷积缓冲器，用于由卷积引擎访问以获取输入，所述卷积缓冲器包括用于存储输入特征图的一个或多个输入区块的第一部分，以及用于存储卷积运算的一组或多组滤波器权重的第二部分。

4.如权利要求3所述的加速器，其特征在于，所述卷积缓冲器的第一部分是环形缓冲器。

5.如权利要求1所述的加速器，其特征在于，所述卷积引擎在生成所述中间区块时，无需生成第一边界数据；

所述加速器还包括：历史引擎用于：

存储所述第一边界数据，当所述第二引擎对所述中间区块执行运算时，加载所述第一边界数据给所述第二引擎作为所述中间区块的一部分重新使用，其中所述第一边界数据为所述中间特征图中所述中间区块与一个或多个第一相邻区块的重叠部分且所述一个或多个第一相邻区块已被所述卷积引擎生成和已被所述第二引擎处理；和

当所述第二引擎对所述中间区块执行运算后存储第二边界数据，以便作为一个或多个第二相邻区块的一部分重新使用，

其中所述第二边界数据为所述中间特征图中所述一个或多个第二相邻区块与所述中间区块的重叠部分，且所述一个或多个第二相邻区块尚未被所述卷积引擎生成和尚未被所述第二引擎处理。

6.如权利要求1-5中任一项所述的加速器，其特征在于，所述第二引擎是对所述中间区块执行池化运算的池化引擎。

7.如权利要求1-5中任一项所述的加速器，其特征在于，所述硬件引擎还包括可运算以执行逐元数学计算的激活引擎，并且其中所述中间区块进一步为所述激活引擎的输出，并且所述第二引擎是池化引擎以在所述激活引擎的输出上执行池化运算。

8.如权利要求1所述的加速器，其特征在于，所述输入特征图和所述中间特征图中的一个或多个包含非均匀尺寸的区块。

9.如权利要求1所述的加速器，其特征在于，还包括：

监视器以监视和收集系统统计信息，所述系统统计信息包括所述加速器的计算负载和耦合到所述加速器的系统内存的数据访问量；和

控制器，用于选择区块方案，所述区块方案基于收集的所述系统统计信息指定用于在XY平面中平铺所述输入特征图的一个或多个尺寸，其中X与所述输入特征图的宽度维度对齐，Y与所述输入特征图的高度维度对齐。

10.如权利要求9所述的加速器，其特征在于，所述控制器还用于选择区块遍历方案，所述区块遍历方案基于所收集的系统统计指定生成X，Y和Z维度的区块的顺序，其中Z与输出特征图的深度维度对齐。

11.如权利要求10所述的加速器，其特征在于，所述控制器还可用于在运行时为所述神经网络运算的一个或多个层选择所述区块方案和所述区块遍历方案。