[发明专利]卷积神经网络加速引擎、卷积神经网络加速系统及方法

权利要求书

1.一种基于卷积神经网络加速系统的卷积神经网络加速方法，所述卷积神经网络加速系统包括3D-Memory，用于存储卷积神经网络模型、输入特征图像和输出特征图像，以及对输入特征图像进行计算；所述3D-Memory中，每个Vault单元的内存控制器中集成了卷积神经网络加速引擎；参与卷积神经网络计算的每个Vault单元内，DRAM存储完整的卷积神经网络模型以及输入特征图像子集，Vault单元内存控制器中集成的卷积神经网络加速引擎用于完成卷积神经网络计算任务的一个子集；所述卷积神经网络加速引擎包括全局缓存和物理PE矩阵；所述物理PE矩阵包括以行列形式排布的多个物理PE单元；每一个物理PE单元用于执行行卷积操作以及相关的部分和累加操作；所述行卷积操作为通过滑窗的方式，将卷积核中的一行权重与输入特征图像的一行像素相乘，并将同一滑动窗口内相乘的结果相加；所述部分和累加操作为将多个行卷积操作的部分中间结果累加，得到输出特征图像的一个像素点的操作；在所述全局缓存和所述物理PE矩阵之间，以及在物理PE单元之间实现数据传输的片上互联总线包括：XY互联总线和邻接互联总线；所述XY互联总线由X总线和Y总线构成，所述物理PE矩阵中，每一行物理PE单元与同一X总线相连，所有的X总线以及所述全局缓存均与Y总线相连；所述物理PE矩阵中，每一列物理PE单元与同一邻接互联总线相连；所述XY互联总线，用于将输入特征图像数据、输出特征图像数据和卷积核参数从所述全局缓存传输到所述物理PE矩阵上，或者将所述物理PE矩阵产生的操作结果传输到所述全局缓存中；所述邻接互联总线，用于在同一列物理PE单元之间传输中间结果；

其特征在于，所述卷积神经网络加速方法包括：

(1)在卷积神经网络的当前层L_i，获得输入特征图像ifms_i后，穷举从批处理N、输入特征图像通道C、输出特征图像通道M以及2D特征图像E这四个维度对当前层L_i的卷积计算任务进行并行展开的所有分区方案，并进行筛选，使得所保留的分区方案在四个维度的分区粒度都能被当前层L_i的形状参数整除，且互不等价；

(2)对于所保留的每一个分区方案，生成各个Vault单元所存储的输入特征图像ifms_i的子集的索引，以及需要存储和计算的输出特征图像子集的索引；

(3)为每一个Vault单元确定映射策略，并根据映射策略将2D特征图像所对应的卷积计算任务子集映射到卷积神经网络加速引擎中的物理PE矩阵中；

(4)对于所保留的每一个分区方案，根据映射策略对剩余的批处理大小N′、输入特征图像通道C′和输出特征图像通道M′这三个维度展开的先后顺序以及在存储层级间传输的数据块大小进行优化，以使得该分区方案对应的数据访问开销最小，将优化结果作为该分区方案所对应调度策略；

(5)若当前层L_i为卷积神经网络的最后一层，则转入步骤(6)；否则，将数据访问开销最小的K种分区方案所生成的输出特征图像布局作为卷积神经网络中下一层的输入特征图像，并转入步骤(1)；

(6)将数据访问开销最小的调度策略确定为最优调度策略，并按照最优调度策略对执行卷积神经网络的计算任务；

其中，K为正整数。

2.如权利要求1所述的卷积神经网络加速方法，其特征在于，所述物理PE单元包括：第一缓存、第二缓存、中间结果缓存、乘法器以及加法器；

所述第一缓存和所述第二缓存均采用双缓存设计；

所述第一缓存中的双缓存分别用于缓存两个不同的行卷积操作的输入特征图像数据；

所述第二缓存中的双缓存分别用于缓存两个不同的行卷积操作的卷积核参数；

所述中间结果缓存用于缓存不同行卷积操作所产生的中间结果；

所述乘法器，用于在行卷积操作中实现卷积核权重与输入特征图像像素之间的乘法运算；

所述加法器，用于在行卷积操作中实现中间结果的加法运算，以及在部分和累加操作中实现卷积操作部分中间结果之间的加法运算。

3.如权利要求2所述的卷积神经网络加速方法，其特征在于，物理PE单元中的第一缓存、第二缓存以及中间结果缓存均通过移位寄存器堆实现。